Middle+/ Senior Data Engineer

Ptolemay - IT аутсорс- и аутстафф- компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. 

Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.

Задачи:

- Мигрировать процессы для аналитики и отчетности.

- Настроить регламентную загрузку данных.

- Работать с общебанковской data-платформой (Data Lake, DWH).

- Разрабатывать end-to-end пайплайны для сбора и обработки данных.

- Выбирать оптимальные форматы хранения и архитектуру интеграции.

- Анализировать и оптимизировать производительность пайплайнов.

- Развивать архитектуру данных и внедрять новые технологии.

- Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.

Требования:

- 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).

- Уверенное знание SQL, включая оптимизацию сложных запросов.

- Понимание архитектуры классических и MPP-СУБД.

- Опыт разработки на Python и/или Java, Scala.

- Опыт работы с Apache Airflow.

- Опыт работы с dbt.

- Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.

- Владение Apache Spark (Spark SQL, DataFrames).

- Опыт работы в финтехе, знание банковской предметной области.

Будет плюсом:

- Опыт с Kafka, Trino.

- Опыт с Kubernetes, Helm.

- Понимание CI/CD и соответствующих инструментов.

Условия:

- Удалённая работа.

- Фулл-тайм.

- Гибкий график.

- Аутстафф-система.

- Долгосрочный проект (от 6 месяцев).

- Зарплата: $3 000–$4 000 по итогам собеседования.