О проекте: Работа с большими массивами разнородных данных, их очистка, нормализация и объединение в единую согласованную структуру.
Обязанности:
- Анализ и обработка баз данных из различных источников.
- Написание Python-скриптов для очистки, нормализации и преобразования данных.
- Разработка алгоритмов сопоставления записей и поиска дубликатов (data matching, record linkage).
- Сопоставление адресов с разными форматами написания и выявление соответствий между записями.
- Объединение разрозненных баз в единую структуру.
- Контроль качества данных и автоматизация процессов обработки.
Требования:
- Уверенное владение Python и SQL.
- Опыт работы с большими таблицами и неструктурированными данными.
- Знание методов fuzzy matching и entity resolution.
- Практические навыки работы с Pandas, регулярными выражениями и базами данных.
- Умение самостоятельно разрабатывать скрипты для решения нестандартных задач.
Будет плюсом: опыт работы с геоданными, адресными справочниками, GIS и ETL/ELT-процессами.
Кого ищем: технического специалиста, способного превращать разрозненные и неунифицированные данные в единую, чистую и согласованную базу.