О компании
Еком-агенты помогают пользователям выбирать товары и принимать решения о покупке прямо в чат-интерфейсе: уточняют потребности, ищут подходящие варианты, сравнивают характеристики и цены, находят лучшие предложения и сопровождают пользователя на пути от первого запроса до покупки.
Обязанности
- Искать и реализовывать точки роста продукта: разбираться, где и почему пользовательский сценарий работает недостаточно хорошо, формулировать гипотезы, проводить полный цикл экспериментов и доводить успешные изменения до продакшена.
- Развивать систему оценки качества еком-агентов: проектировать и поддерживать автоматизированные eval-пайплайны, создавать golden datasets, формулировать критерии качества, строить пайплайны на основе LLM-as-a-judge, автоматизировать разметку с помощью LLM, организовывать и анализировать асессорскую разметку, исследовать связь между офлайн-оценками и онлайн-метриками.
- Работать с данными и моделями: собирать датасеты, разбираться в логах пользовательских сценариев, решать проблемы качества данных, создавать воспроизводимые пайплайны обработки, использовать классические ML-модели, LLM, VLM.
- Развивать аналитическую систему: поддерживать и развивать витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов.
Требования
- Опыт от 3 лет
- Умение самостоятельно находить точки роста продукта и превращать их в работающие решения
- Навыки работы с данными, ML-моделями, LLM и VLM
- Опыт построения eval-пайплайнов и работы с golden datasets
- Знание SQL и инструментов аналитики
Условия
- AI-driven-аналитика уже сегодня: значительная часть типовых задач автоматизирована
- Работа над современным продуктом с прямым влиянием на пользователей
- Динамичная среда: продукт и технологии быстро меняются
- Небольшая команда и высокий уровень ответственности
- Кросс-сервисный продукт: много взаимодействия с продуктовыми, инженерными, ML- и аналитическими командами