Data Engineer

О компании

Компания: PlaysDev — международная IT-компания.

Обязанности

• Развитие и доработка функционала Data Platform.
• Проработка и реализация новых подходов к разработке пайплайнов.
• Оптимизация процессов загрузки и обработки данных.
• Проектирование сложных интеграций и потоков данных.
• Формирование и развитие стандартов разработки (логирование, структура DAG, подходы к разработке).
• Контроль качества реализации пайплайнов.
• Ведение и развитие технической документации.
• Обучение и менторинг команды.
• Участие в архитектурных решениях.

Требования

• Опыт от 2 лет.
• Крепкий SQL.
• Продвинутый Python.
• Глубокий опыт работы с Apache Airflow.
• Опыт работы с MPP СУБД (Greenplum или аналогами).
• Опыт проектирования ETL/ELT процессов.
• Понимание архитектуры Data Platform / DWH.
• Опыт оптимизации производительности систем.
• Понимание Data Governance и Data Quality.