Data Engineer

Яндекс Лавка развивает хранилище данных для аналитики и ключевых операционных процессов бизнеса. Зрелый batch-контур сохраняет историю и предоставляет проверенные данные за прошедший день. Команда развивает RT/NRT-поставки и платформенную основу для AI-продуктов операционных и управленческих команд.

• Проектировать и развивать RT/NRT-поставки данных для сценариев продуктовых команд, включая жизненный цикл заказа, работу сотрудников, складские операции и отслеживание доступности товаров; продумывать взаимодействие оперативного и batch-контуров и выбирать архитектуру с учётом скорости, полноты, стоимости и надёжности данных.
• Помогать системным аналитикам и продуктовым командам проектировать RT-данные: выбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных, прорабатывать обработку запаздывающих событий и предварительных результатов.
• Находить новые способы работы с RT-данными, разрабатывать универсальные подходы и помогать внутренним заказчикам определять решаемые задачи. Проектирование прикладных агентов и бизнес-сценариев остаётся за продуктовыми командами.
• Исследовать процессы и источники данных, запускать решения в промышленную эксплуатацию, контролировать их работу и безопасно развивать DWH с большим графом зависимостей.
• Развивать AI-агентов в автономном DWH: предоставлять качественный контекст и инструменты, устанавливать ограничения и проверки, оценивать результаты, превращать сложные случаи в сценарии автоматизации. Выявлять системные причины нетиповых инцидентов и создавать на этой основе проверки, инструменты и возможности для агентов.
• Самостоятельно выбирать полезные задачи, проектировать решения, запускать их в промышленную эксплуатацию и развивать вместе с продуктовыми командами; нести ответственность за результат поставки данных.

• Опыт проектирования и поддержки промышленных RT/NRT-пайплайнов и понимание отличий их разработки и эксплуатации от batch-обработки.
• Опыт разработки в крупном DWH или распределённой платформе и понимание, как безопасно менять процессы с большим графом зависимостей.
• Умение проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников.
• Уверенное владение Python и SQL; понимание моделирования данных, качества, наблюдаемости и надёжной эксплуатации.
• Умение преобразовывать не до конца сформулированную бизнес-задачу в модель данных и техническое решение, сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников.
• Использование AI-агентов в инженерной работе и заинтересованность в подходе, при котором человек управляет целями, качеством и архитектурой, а значительную часть реализации и поддержки выполняют агенты.
• Технологический стек: Python, SQL, YQL, внутренний Code Driven фреймворк DMP Suite, YT, Greenplum, ClickHouse, Apache Flink / Flink Flow, LogBroker, встроенные инструменты Data Quality, мониторинга и управления ETL-процессами.
• Будет плюсом: глубокий практический опыт работы с Apache Flink; опыт построения lambda- или kappa-архитектуры и объединения оперативного и batch-контуров; запуск нового платформенного направления или развитие внутренних data-продуктов; проектирование data contracts и интеграция продуктовых систем; разработка инструментов, контекста, проверок или evaluation-процессов для инженерных AI-агентов.

Работа в офисе в Москве.