О компании
Наша команда занимается амбициозной и стратегически важной задачей – построение единого хранилища данных блока B2C. Наш стек строится вокруг экосистемы Hadoop, и мы активно развиваем платформу в сторону Data Lakehouse на базе Apache Iceberg и Data Streamhouse на базе Kafka и Apache Flink.
Обязанности
- Разработка и оптимизация витрин данных: проектирование и реализация эффективных ETL и ELT процессов для витрин данных с использованием Apache Spark и Greenplum
- Потоковая обработка данных (RT и NRT): разработка и поддержка стриминговых пайплайнов, построение NRT пайплайнов из Kafka в Apache Iceberg и RT пайплайнов между Kafka с использованием Apache Flink и Spark Structured Streaming
- Архитектура данных: участие в разработке архитектуры решения потоковой обработки данных Data Streamhouse, разработка предложений по развитию Data Lakehouse, внедрение best practices работы с Apache Iceberg
- Инженерные практики: реализация механизмов инкрементальной загрузки данных, разработка и документирование API (на Java или Scala)
- Производительность и качество: глубокая оптимизация Spark-приложений, включая использование векторного движка Gluten/Velox, разработка решений для сверки и контроля качества данных (Data Quality)
- DevOps и CI/CD: внедрение решений в продуктовую среду, настройка пайплайнов сборки и деплоя в Jenkins, управление зависимостями задач в Oozie
- Коммуникация: взаимодействие с внутренними бизнес заказчиками для уточнения и согласования требований
Требования
- Уверенное владение языками: SQL, Java (или Scala), Python
- Глубокое понимание экосистемы Apache Hadoop (HDFS, YARN) и опыт работы с ней в продакшене
- Опыт разработки пайплайнов на Apache Spark (Core, SQL, Structured Streaming) уровня не ниже middle
- Опыт работы с потоковыми данными: Apache Kafka и хотя бы одним фреймворком стриминговой обработки (Apache Flink или Spark Streaming)
- Понимание форматов хранения данных (Parquet, ORC, Avro) и современных подходов к управлению Data Lakehouse (обязательно знание Apache Iceberg)
- Опыт оптимизации производительности Apache Spark
Условия
- Офисный формат работы (м Кутузовская ул. Поклонная 3)
- Годовая премия
- Корпоративный спортзал и зоны отдыха
- Более 400 образовательных программ СберУниверситета
- Регулярные митапы и развитое DS-community
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- Гибкий дисконт по ипотечному кредиту
- Подписка Прайм