О компании
Команда развивает контур интеграции данных крупного банка.
Обязанности
- Разрабатывать ETL-процессы и интеграционные потоки данных.
- Проектировать и создавать типовые модули ETL-приложений.
- Участвовать в проектировании архитектуры потоков данных.
- Разрабатывать и внедрять корпоративные стандарты разработки.
- Проводить код-ревью и контролировать качество решений.
- Подготавливать техническую документацию.
- Участвовать в тестировании и сопровождении ETL-решений.
- Помогать команде сопровождения в расследовании и устранении дефектов на продуктивном контуре.
Требования
- Коммерческий опыт разработки в Big Data от 3 лет.
- Уверенное знание Python и SQL.
- Опыт работы с Apache Spark / PySpark.
- Опыт разработки и сопровождения ETL-процессов.
- Практический опыт работы с Apache Airflow.
- Опыт работы с Hadoop/HDFS.
- Опыт работы с S3 или S3-compatible хранилищами.
- Знание форматов Parquet и ORC.
- Опыт работы с Git и CI/CD инструментами.
- Базовое понимание работы Kafka.
- Практический опыт работы с архитектурой Data Vault.
Условия