О компании
Alice AI — большая языковая модель, которая помогает миллионам людей решать повседневные задачи. Команда отвечает за безопасность и ответственное поведение LLM в рамках общего трека развития моделей Alice AI.
Обязанности
- Анализ данных и поиск проблемных сценариев: исследовать большие объёмы данных, выделять сложные срезы и находить потенциально проблемные паттерны, формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming
- Разработка LLM-джаджей и агентских пайплайнов: разрабатывать критерии и рубрики оценки, собирать evaluation-пайплайны, валидировать автоматические оценки на человеческой разметке, исследовать качество джаджей
- Участие в обучении LLM Яндекса: собирать и валидировать обучающие выборки для этапов SFT и RL, анализировать ошибки модели
- Финальная приёмка моделей: разрабатывать наборы тестов и офлайн-метрики, сравнивать релиз-кандидаты с текущей моделью, анализировать регрессии и статистическую значимость изменений
Требования
- Уверенное владение Python и SQL
- Самостоятельная работа с данными: исследование логов, формулирование гипотез
- Знание математической статистики и теории вероятностей, умение корректно строить эксперименты и интерпретировать результаты
- Умение ясно излагать мысли, обсуждать решения и аргументированно отстаивать свою позицию
Условия
- Будет плюсом: опыт работы с ML-моделями и понимание основных этапов их обучения и оценки
- Опыт создания LLM-джаджей, автоматизированных evaluation-пайплайнов или проведения red teaming
- Знакомство с SFT, RLHF/RLAIF и современными подходами к LLM evaluation
- Понимание типовых сценариев использования и уязвимостей генеративных моделей