Команда Банка Компаньон в поисках Data Engineer
Мы предлагаем:
- Достойную зарплату.
- Свободный дресс-код.
- Трудоустройство по ТК КР.
Задачи по должности:
- Разработка SQL:Проектирование и создание витрин данных (Data Marts), Оптимизация SQL-запросов.
- Разработка и поддержка Python-скриптов для чтения данных из Kafka, используя Debezium для обработки потоковых данных и изменения состояния в реальном времени;
- Создание и поддержка DAGs Airflow, как оркестратора всех процессов.
- Создание и поддержка документации по исследуемым задачам;
- Передача знаний коллегам по лучшим практикам разработки и поддержки DWH.
Наши ожидания от кандидата:
- Высшее образование в области информационных технологий, математики, статистики или смежных дисциплин.
- Опыт работы в разработке хранилища данных (Data Warehouse) и/или баз данных;
- Опыт разработки ETL-процессов.
- Знание SQL на высоком уровне (включая оптимизацию запросов);
- Опыт работы с СУБД, в частности с PostgreSQL, Greenplum, ClickHouse, а также с другими реляционными базами данных;
- Опыт работы с инструментами ETL, такими как Airflow, Talend, Informatica и аналогичные;
- Опыт работы с Debezium и Kafka для организации потоковой передачи данных;
- Знание и опыт работы с Jinja2 для шаблонизации конфигураций и скриптов;
- Опыт работы с системами контроля версий, Git.
- Soft Skills:
- Умение работать в команде и взаимодействовать с аналитиками, бизнес-аналитиками и другими разработчиками;
- Способность к анализу и решению проблем;
- Гибкость, внимательность к деталям, способность к многозадачности и организации рабочего процесса