Data Engineer

Вакансия: Data Engineer / Специалист по обработке и сопоставлению данных О проекте: Работа с большими массивами разнородных данных, их очистка, нормализация и объединение в единую согласованную структуру. Обязанности: - Анализ и обработка баз данных из различных источников. - Написание Python-скриптов для очистки, нормализации и преобразования данных. - Разработка алгоритмов сопоставления записей и поиска дубликатов (data matching, record linkage). - Сопоставление адресов с разными форматами написания и выявление соответствий между записями. - Объединение разрозненных баз в единую структуру. - Контроль качества данных и автоматизация процессов обработки. Требования: - Уверенное владение Python и SQL. - Опыт работы с большими таблицами и неструктурированными данными. - Знание методов fuzzy matching и entity resolution. - Практические навыки работы с Pandas, регулярными выражениями и базами данных. - Умение самостоятельно разрабатывать скрипты для решения нестандартных задач. Будет плюсом: опыт работы с геоданными, адресными справочниками, GIS и ETL/ELT-процессами. Кого ищем: технического специалиста, способного превращать разрозненные и неунифицированные данные в единую, чистую и согласованную базу.