О компании
Команда Yandex R&D развивает качество Alice AI — ключевой LLM-технологии компании. Alice AI ежедневно используют миллионы людей. Команда измеряет, как модели отвечают на реальные пользовательские запросы; по результатам измерений принимается решение о релизе. В оценке участвуют профессиональные разметчики, доменные эксперты и автоматические оценщики. Команда работает вместе с ML-разработчиками и продуктовой командой.
Обязанности
- Организовывать приёмки новых версий моделей: готовить оценочные наборы, ставить задачи по всем аспектам качества, настраивать и запускать пайплайны оценки.
- Контролировать параллельно проходящие приёмки, зависящие от дат релизов.
- Следить за статусом разметки, выявлять и устранять сбои, отслеживать недоставленные или потерянные данные, разбираться в причинах и доводить модель до работающего результата вместе с командой краудсорса и соседними командами.
- Сводить результаты всех аспектов в общую картину: считать значимость, отличать реальные изменения от шума, объяснять расхождения между аспектами и между людьми и автоматическими оценщиками.
- Готовить по каждому релизу заключение с разбором сценариев и конкретными примерами, а еженедельно — сводку по замерам для ML-команд и продукта.
- Участвовать в автоматизации приёмки: формулировать требования, тестировать новые инструменты и брать на себя задачи, которые автоматизация освобождает.
Требования
- Уверенная работа с Python и SQL.
- Знание математической статистики и теории вероятностей.
- Умение доводить до конца многошаговые процессы с внешними зависимостями: чужими пайплайнами, пулами разметки и сроками соседних команд.
- Умение формулировать обоснованные заключения по данным и защищать их перед заказчиками.
- Самостоятельность и готовность браться за новые задачи без готового решения.
- Интерес к развитию LLM и желание глубоко погрузиться в эту тему.
- Будет плюсом опыт оценки качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки; работы на стыке офлайн-оценки и онлайн-экспериментов; оценки агентских сценариев и мультимодальных моделей; применения NLP, краудсорсинговой разметки и ML.
Условия