О компании
Яндекс 360 развивает ИИ-функции и агентов в Почте, Диске, Документах, Таблицах, Календаре, Телемосте и других сервисах.
Обязанности
- Разработать и внедрить LLM-as-a-judge для автоматической оценки ответов моделей и построить eval-систему для оценки качества агентов, включая решение пользовательских задач и работу с инструментами на каждом шаге.
- Создавать надёжные и эффективные пайплайны обработки текстовых и мультимодальных данных для сбора данных обучения и оценки, автоматизировать процессы и поддерживать актуальность и качество данных.
- Разработать систему офлайн-метрик для агентов Яндекс 360: определить критерии качества, построить пайплайны и подобрать данные для оценки.
- Интегрировать инструменты и метрики в продакшн-процессы команды ML-разработчиков и аналитиков.
Требования
- Уверенно работать с Python и SQL, анализировать данные с помощью pandas или похожих инструментов.
- Писать поддерживаемый аналитический код и доводить пайплайны до регулярной работы.
- Хорошо знать теорию вероятностей и математическую статистику.
- Понимать, как работают ML-модели и как оценивать их качество.
- Уметь ставить эксперименты, собирать репрезентативные выборки и находить смещения в данных.
- Связывать качество модели с продуктовым сценарием и поведением пользователей.
- Самостоятельно разбираться в новой области и договариваться с разработчиками и продуктовыми командами о критериях качества.
- Будет плюсом опыт оценки LLM, RAG-систем или агентов, работающих с инструментами; экспертной или краудсорсинговой разметки; проведения онлайн-экспериментов и анализа продуктовых метрик; знакомство с NLP или мультимодальными моделями; запуск новой аналитической или ML-практики.