Data Engineer

О компании

Finframe — финтех компания.

Обязанности

• Архитектура и развитие платформы (совместно с Data Architect)
• Проектирование архитектуры Data Platform (DWH + Lakehouse)
• Выбор технологических решений и инструментов
• Участие в проработке подходов к Data Quality, lineage и monitoring
• Проектирование, разработка и поддержка ETL/ELT-пайплайнов
• Разработка витрин данных
• Реализация ingestion и обработки данных в Lakehouse
• Настройка оркестрации и мониторинга в Airflow
• Поддержка и развитие LakeHouse, DWH
• Внедрение практик CI/CD для data-разработки
• Документирование разработки
• Создание команды Data Engineers
• Развитие компетенций, процессов разработки, code review и внедрение engineering best-практик
• Планирование roadmap развития платформы
• Взаимодействие с архитекторами, аналитиками и backend-командами

Требования

• Опыт работы Data Engineering / DWH / Big Data от 6 лет
• Опыт работы с DBT / Airflow / Spark / объектными хранилищами
• Опыт проектирования Data Platform или ключевых её частей
• Опыт оптимизации производительности DWH или Big Data систем
• Опыт technical leadership (lead / tech lead / играющий тренер)
• Понимание принципов Data Governance и Data Quality
• Будет плюсом: опыт создания Data Platform с нуля, включая MVP

Условия

• Удаленная работа по РФ