Data Engineer

О компании

• Adyen — финтех-платформа, предоставляющая платежные, данные и финансовые продукты в едином решении для клиентов вроде Meta, Uber, H&M и Microsoft.
• Данные и артефакты данных — первостепенный элемент, основа бизнес- и продуктовых инсайтов.

Обязанности

• Взаимодействие с широким кругом стейкхолдеров (data scientists, аналитики, software engineers, product managers, клиенты) для понимания требований и построения решений.
• Проектирование, разработка, деплой и эксплуатация production ELT-пайплайнов и архитектур данных.
• Интеграция данных из различных источников и форматов с обеспечением совместимости, консистентности и надежности.
• Установление и распространение лучших практик по производительности, качеству кода, валидации данных, data governance и discoverability.
• Обеспечение точности, полноты, надежности и своевременности данных; внедрение тестирования, мониторинга и валидации (например, Pytest).
• Оптимизация производительности пайплайнов и систем, улучшение запросов и использования ресурсов с применением оптимизаций Spark.

Требования

• 3+ года опыта работы Data Engineer или в аналогичной роли.
• Понимание практик Software и Data Engineering.
• Владение Python, PySpark, Airflow, Hadoop, Spark, Kafka, SQL, Git.
• Умение понятно доносить сложные концепции данных до разных стейкхолдеров.
• Самостоятельность, проактивность, экспериментальный подход «launch fast and iterate».

Условия

• Офис в Амстердаме, office-first компания, удаленных ролей нет.