Data Engineer

О компании

• VK Tech — это команда, занимающаяся разработкой и поддержкой дата-сервисов.

Обязанности

• Разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow;
• Оптимизировать запросы и распределённые вычисления под ClickHouse и YT;
• Мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость;
• Помогать аналитикам с оптимизацией их SQL-запросов и структур данных;
• Проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD);
• Участвовать в миграции вычислительной платформы с YT на Hadoop/Spark.

Требования

• Опыт разработки и поддержки ETL-процессов на Python + Airflow;
• Уверенное знание SQL (JOIN, оконные функции, CTE, агрегации);
• Понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds;
• Опыт оптимизации запросов в распределённых системах (ClickHouse или Spark);
• Знание Git (ветки, коммиты, pull requests, code review);
• Умение читать и анализировать чужой код.