Data Engineer

О компании

Компания 2Гис.

Обязанности

• Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
• Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
• Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
• Решать сложные инженерные задачи: расчеты метрик, построение витрин.
• Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
• Влиять на архитектурные решения и качество кода.
• Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Требования

• Опыт работы с highload-системами.
• Опыт проектирования архитектуры данных или платформенного кода.
• Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
• Хорошо понимает, как работает Spark и умеет его готовить.
• Хорошо владеешь одним из языков программирования (например, Python или Scala).
• Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
• Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.