О компании
Поиск с Алисой AI совершенствует поиск, который помогает Алисе отвечать на вопросы в чате и Поиске, а также развивает Yandex Search API для внешних AI-продуктов. Ключевые сервисы — Поиск с Алисой, Картинки и Видео — оценивают полезность и обучают модели с учётом метрик, разрабатываемых на основе LLM вместе с экспертами и редакторами.
Обязанности
- Работать в небольшой команде аналитиков-разработчиков над аналитическим направлением Агентского Поиска: определять систему оценки качества, выбирать приоритеты исследований и совместно с ML-командами внедрять подтверждённые улучшения в релиз.
- Развивать систему оценки качества: создавать метрики качества Агентского Поиска, проверять их на экспертных бенчмарках и налаживать регулярную оценку качества в продакшене.
- Анализировать потери при обработке запросов и цепочки поисковых действий агента: выяснять, почему нужная информация не попала в ответ, предлагать эксперименты и помогать другим командам определять приоритеты.
- Исследовать методы поиска и ранжирования: изучать способы отбора документов для AI-агентов, создавать прототипы, сравнивать варианты и доводить перспективные решения до релиза.
- Оценивать фрагменты документов, получаемые языковой моделью, и искать способы сохранить нужные факты, уменьшить объём текста и не исказить смысл.
- Улучшать качество Yandex Search API: сравнивать его с другими поисковыми API на открытых бенчмарках и сценариях команды, выяснять причины различий качества, формулировать проверяемые гипотезы и оценивать возможные улучшения для внешних AI-продуктов. Учитывать используемые модели, доступный контекст, количество поисковых вызовов и время ответа.
Требования
- От 3 лет опыта.
- Самостоятельно выстраивали оценку качества ML-системы или продукта.
- Уверенно пишете на Python: можете самостоятельно собрать эксперимент, обработать результаты и сделать расчёты воспроизводимыми.
- Владеете SQL для получения и анализа данных.
- Знаете теорию вероятностей и математическую статистику.
- Умеете планировать эксперимент, оценивать неопределённость результата и интерпретировать результаты A/B-теста.
- Понимаете основы оценки ML-моделей: зачем разделять данные, как возникают утечки и почему улучшение на тестовой выборке может не повториться в продукте.
- Умеете разбираться в задаче без готовой постановки: выделить проблему, сформулировать проверяемую гипотезу, выбрать метрики и реализовать проверку.
- Можете объяснить команде выводы и ограничения исследования, предложить следующий шаг и довести работу до решения, даже если первая гипотеза не подтвердилась.
- Будет плюсом опыт работы с информационным поиском, ранжированием, семантическим поиском или RAG-системами; создания бенчмарков и разметки; анализа действий AI-агентов или использования языковых моделей для оценки качества с проверкой по человеческим оценкам; работы с большими данными и превращения исследовательских прототипов в регулярно используемые инструменты.
- Будет плюсом знакомство с агентными бенчмарками, например BrowseComp или NEEDLE, либо с оценкой полноты и достоверности контекста.
Условия
- Офисный или гибридный формат работы.