О компании
Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App.
Обязанности
- Разрабатывать и поддерживать ETL/ELT-процессы, интегрировать новые источники данных, развивать хранилища на ClickHouse и обеспечивать аналитиков качественными данными для принятия решений.
Требования
- Опыт на позиции инженера данных от трёх лет
- Уверенное знание SQL и опыт работы с аналитическими СУБД
- Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
- Опыт разработки и поддержки ETL/ELT-процессов
- Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов, понимание механизмов планирования, зависимостей и мониторинга пайплайнов
- Опыт работы с dbt Core
- Хорошее знание Python: умение разбираться в существующем коде, дорабатывать и разрабатывать новые компоненты интеграций и пайплайнов
- Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных
- Опыт интеграции внешних REST API
- Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose
- Умение самостоятельно декомпозировать задачи и доводить их до результата
Условия