Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App.
Обязанности
Разрабатывать и поддерживать ETL/ELT-процессы, интегрировать новые источники данных, развивать хранилища на ClickHouse и обеспечивать аналитиков качественными данными для принятия решений.
Требования
Опыт на позиции инженера данных от трёх лет
Уверенное знание SQL и опыт работы с аналитическими СУБД
Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
Опыт разработки и поддержки ETL/ELT-процессов
Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов, понимание механизмов планирования, зависимостей и мониторинга пайплайнов
Опыт работы с dbt Core
Хорошее знание Python: умение разбираться в существующем коде, дорабатывать и разрабатывать новые компоненты интеграций и пайплайнов
Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных
Опыт интеграции внешних REST API
Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose
Умение самостоятельно декомпозировать задачи и доводить их до результата