- Обязанности:Подключать новые источники к централизованному DWH: настраивать инкрементальные загрузки и CDC, обеспечивать идемпотентность.
- Проектировать и развивать модели данных в dbt (staging → core → marts): писать понятные модели, тесты, документацию и фиксировать происхождение данных.
- Настраивать и поддерживать Airflow: строить DAG-и, управлять зависимостями и расписаниями, обрабатывать ошибки и «повторы», выполнять добор исторических данных;
- Использовать сенсоры (ожидание файлов/событий) и контролировать целевые сроки обновления витрин.
- Совместно с другими специалистами ДИТ эксплуатировать и управлять VMs на GCP: развёртывание и обновления, мониторинг, резервное копирование/восстановление, управление секретами и доступами.
- Держать хранилище быстрым и экономичным: оптимизировать ClickHouse и PostgreSQL под объёмы и типовые запросы (партиционирование, материализованные представления, TTL и т. п.).
- Реализовывать интеграции: разрабатывать и поддерживать интеграции через REST API (аутентификация, пагинация, лимиты) и автоматизировать обмен файлами по SFTP/FTPS; вести версионирование форматов и обработку ошибок.
- Обеспечивать качество и безопасность данных: автоматические проверки свежести/корректности, работа с PII, актуальные эксплуатационные инструкции.
Требования:
- Продвинутый SQL в PostgreSQL и ClickHouse; практическая оптимизация запросов и схем.
- Отличное знание Python для процессов ELT и небольших сервисов (базовые FastAPI/Flask).
- Опыт с dbt: модели, тесты, документация, работа с data lineage.
- Опыт с Airflow: разработка DAG-ов, сенсоры, управление зависимостями и ошибками.
- Паттерны ELT: CDC, SCD 1/2, корректные операции загрузки/обновления (MERGE/UPSERT).
- Интеграции: уверенно работать с REST API и автоматизацией обмена по SFTP.
- Инфраструктура: Linux + GCP VMs, Git, базовый Docker, CI для сборки/тестов dbt.
- Terraform/Ansible для воспроизводимых сред.
- Будет преимуществом
- Понимание жизненного цикла ML (MLflow, batch-скоринг), опыт работы над DS/ML/AI проектами.
- Умение работать с потоковыми данными в т.ч. с Kafka, Redis или аналог.
- Наблюдаемость: Great Expectations, OpenLineage, Prometheus/Grafana.
- Подача данных в Power BI/Tableau/Metabase.
- Опыт в домене логистики/TMS, телематики Wialon, CRM/loyalty.
- Совместно с владельцами источников и вендорами интегрировать и поддерживать их подключение к DWH с согласованными SLA.
- Работать с BI/Analyst и Senior DS над витринами и фичами для аналитики и ML