О роли
Описание вакансии
Обязанности
- Разрабатывать DWH на проекте.
- Оптимизировать SQL, в том числе для OLAP.
- Реализовывать ETL/ELT для хранилищ или озер данных.
- Создавать DAG’и в Apache Airflow и управлять зависимостями ETL-пайплайнов.
Требования
- От 2 лет опыта в качестве инженера данных или разработчика ETL на SQL и PySpark.
- Опыт работы с SQL, PostgreSQL, Apache Airflow, API, веб-сервисами, очередями и другими стандартными технологиями интеграции данных.
- Базовое владение Apache Hadoop (Spark, Hive или Impala).
- Опыт работы с брокерами сообщений (Kafka, RabbitMQ), S3 Minio и Apache Iceberg.
Условия
- Проект для ПО, транспортной компании.
- Удаленная работа, полный рабочий день.
- Оформление по ИП/ГПХ.
Стек и навыки
С чем работаем