Data Analyst

О компании

• Команда развивает систему оценки Alice AI LLM — технологии, лежащей в основе Алисы и других продуктов Яндекса.
• Создаются LLM-судьи — модели, воспроизводящие человеческие критерии качества.

Обязанности

• Создание и развитие LLM-судей: проектирование схем, эксперименты с моделями и архитектурами, сравнение подходов.
• Оценка и мониторинг качества: регулярные замеры на новых моделях и типах запросов, поиск слабых мест и смещений, разбор регрессий.
• Развитие системы оценки: добавление новых аспектов, превращение экспериментальных решений в воспроизводимые вычислительные графы.
• Работа с исследованиями: следить за свежими статьями, разбираться в новых подходах к LLM-оценке.

Требования

• Уверенное владение Python и SQL.
• Умение анализировать данные и строить воспроизводимые процессы обработки.
• Знание теории вероятностей и математической статистики.
• Умение проектировать метрики и интерпретировать результаты экспериментов.
• Понимание устройства современных LLM и опыт экспериментов с ними.
• Самостоятельность и аккуратность в выводах.

Условия

• Офис в Москве, удалённая работа, гибридный формат.
• Опыт от 3 лет.