О компании
Финтех — направление Яндекса, создающее банковские и небанковские продукты, платёжные продукты, сервисы и инструменты для управления личными финансами. Команда собирает новое аналитическое хранилище данных без легаси.
Обязанности
- Строить ETL-процессы: извлекать информацию из источников, обрабатывать её и представлять в удобном для аналитиков виде; работать как с простыми инжестами данных и загрузкой результатов в хранилище, так и со сложными пайплайнами с множеством входов и выходов.
- Оптимизировать логику прототипов аналитиков для больших объёмов данных.
- Обеспечивать регулярную поставку данных с минимальным количеством сбоев, а также их корректность, полноту и непротиворечивость.
- Проектировать структуру аналитического хранилища, закладывая основы для его развития с применением современных инженерных практик.
- Взаимодействовать с аналитиками, совместно прорабатывать бизнес-задачи и находить оптимальные решения; накапливать опыт в бизнес-домене Финтеха.
Требования
- Уверенно программировать на Python.
- Хорошо знать SQL и устройство современных СУБД.
- Понимать необходимость CI/CD, систем контроля версий, код-ревью, тестирования и мониторинга.
- Работать в командной строке Unix-подобных систем (Linux, macOS).
- Будет плюсом: опыт создания сложных высоконагруженных ETL- и ELT-процессов (Hadoop, Hive, Spark); разработки обработки событий, приближенной к реальному времени (Kafka, Spark Streaming, Flink); проектирования хранилищ данных; работы по Agile; руководства стажёрами или начинающими специалистами; знания аналитических БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитических инструментов на Python (Jupyter, pandas, SciPy, Matplotlib); публикации кода в доступном репозитории, написания статей и выступлений на конференциях.
Условия
Указаны офисный и гибридный форматы работы.