О компании
Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. В основе хранилища — зрелый batch‑контур. Он включает тысячи расчётов и зависимостей: сохраняет историю и предоставляет проверенные данные за прошедший день.
Сейчас мы развиваем направление RT/NRT‑данных для AI‑систем Лавки. Речь идёт о потоковых и микробатчевых поставках, единых контрактах и контроле качества. Оперативные данные позволяют быстро получать сигналы и контекст для принятия решений, а batch‑слой обеспечивает полноту данных, сохраняет историю и финальную версию информации. Нам требуется опытный инженер данных. Его задача — связать эти контуры и развить платформенную основу для AI‑продуктов, которые используют операционные и управленческие команды.
Роль инженерная, с полной ответственностью за результат. Нужно самостоятельно выбирать задачи, в которых RT/NRT‑данные будут действительно полезны, проектировать решения, запускать их в промышленную эксплуатацию и развивать вместе с продуктовыми командами.
Мы работаем со следующим стеком технологий:
- Python, SQL и YQL
- Внутренний Code Driven фреймворк DMP Suite
- YT, Greenplum и ClickHouse
- Apache Flink / Flink Flow и LogBroker для потоковой обработки
- Встроенные инструменты Data Quality, мониторинга и управления ETL‑процессами
Обязанности
- Развитие поставок данных — проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд (жизненный цикл заказа, работа сотрудников, складские операции, отслеживание доступности товаров). Продумывать взаимодействие оперативного и batch‑контуров, подбирать архитектуру, обеспечивающую нужную скорость, полноту, стоимость и надёжность данных.
- Проектирование RT‑данных — помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных, прорабатывать правила работы с запаздывающими событиями и предварительными результатами.
- Поиск возможностей по RT‑данным — искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью.
- Инженерные задачи и развитие DWH — ведение инженерных задач: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH с большим графом зависимостей.
- Развитие AI‑агентов для DWH — расширять возможности AI‑агентов в автономном DWH: предоставлять им качественный контекст и инструменты, устанавливать ограничения и проверки, оценивать результаты работы и превращать сложные случаи в новые сценарии автоматизации. Работать с нетиповыми инцидентами — выявлять их системные причины и создавать новые проверки, инструменты и возможности для агентов.
Требования
- Проектировали и поддерживали промышленные RT/NRT‑пайплайны, понимаете, чем их разработка и эксплуатация отличаются от batch‑обработки
- Занимались разработкой в крупном DWH или распределённой платформе, понимаете, как безопасно менять процессы с большим графом зависимостей
- Умеете проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников
- Уверенно владеете Python и SQL, понимаете принципы моделирования данных, качества, наблюдаемости и надёжной эксплуатации
- Умеете превращать не до конца сформулированную бизнес‑задачу в модель данных и техническое решение, сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников