Data Engineer

Ocean Infinity — миссия по исследованию подводных данных с использованием инновационных технологий. Мы используем передовую робототехнику, автономные технологии и программное обеспечение мирового класса, чтобы сделать морские операции безопаснее, умнее и экологичнее.

• Разработка и внедрение масштабируемых пайплайнов данных, автоматизирующих ручные процессы.
• Построение и поддержка сквозных рабочих процессов трансформации данных (Bronze → Silver → Gold).
• Разработка решений для обработки данных на Python, включая скрипты, сервисы и инструменты автоматизации.
• Реализация пайплайнов интеграции данных из различных источников (операционные БД, внешние API, потоковые данные).
• Разработка и поддержка проверок качества данных, правил валидации и фреймворков тестирования.
• Создание бэкенд-сервисов данных и легковесных API для предоставления данных аналитическим инструментам.
• Сотрудничество с аналитиками данных, продуктовыми командами и AI-инженерами.
• Оптимизация и рефакторинг существующих пайплайнов.
• Соблюдение лучших практик инжиниринга, включая контроль версий, модульный дизайн пайплайнов, CI/CD.
• Участие в код-ревью и парном программировании.

• Степень в области Computer Science, математики, инженерии или эквивалентный опыт.
• Минимум 2 года опыта работы Data Engineer, Backend Engineer или Software Engineer с системами, интенсивно использующими данные.
• Уверенные навыки разработки на Python.
• Хорошие знания SQL, понимание оптимизации запросов.
• Опыт построения и поддержки пайплайнов данных и рабочих процессов трансформации, желательно в облачных средах.
• Практический опыт работы с хотя бы одной облачной платформой (AWS, GCP или Azure).
• Знакомство с data lake и lakehouse, включая объектные хранилища (S3) и структурированные слои трансформации (Bronze/Silver/Gold).
• Понимание паттернов хранения неструктурированных и полуструктурированных данных (JSON, логи, события, файлы).
• Опыт работы с реляционными и/или NoSQL базами данных (Postgres, MongoDB, Redis), включая проектирование схем и индексацию.
• Знание контейнеризации (Docker).
• Понимание принципов моделирования данных.
• Знакомство с концепциями распределенных систем и крупномасштабной обработки данных.
• Сильные навыки решения проблем с фокусом на надежность, производительность и автоматизацию.
• Способность эффективно сотрудничать с аналитиками, продуктовыми командами и инженерами.
• Комфортная работа с современными инженерными практиками: Git, код-ревью, CI/CD, автоматизированное тестирование.
• Опыт работы с инструментами оркестрации рабочих процессов (Airflow, Prefect или аналоги).

• Зарплата: до 55 000 EUR в год (Порту).
• Гибридный формат работы (Порту).
• Возможность работы с передовыми технологиями в морской отрасли.