О компании
Центр экспертизы Enterprise-продаж Яндекса. Команда строит процессы и инфраструктуру, влияющие на портфель enterprise-рекламодателей объёмом около 50 млрд рублей в квартал. Более 60 менеджеров используют инструменты для поиска точек роста выручки.
Обязанности
- Разработка и внедрение AI-агентов end-to-end: проектирование логики мультиагентных систем, выбор LLM, создание кастомных навыков (Tools), интеграции с внутренними сервисами и внешними API.
- Контроль качества: выстраивание системы оценки ответов, отлов галлюцинаций, внедрение автовалидации, включая LLM-as-a-judge.
- Развитие ML-модели потенциала клиентов: доработка фич, тестирование гипотез, эксперименты по улучшению точности (400+ параметров).
- Проектирование архитектуры и MLOps-процессов: пайплайны данных, упаковка решений в сервисы, обеспечение стабильной работы в продакшне.
Требования
- Коммерческая разработка на Python от 3 лет.
- Практический опыт работы с LLM API: промпт-инжиниринг, RAG, оценка качества генерации.
- Глубокое понимание классического ML: gradient boosting, feature engineering, A/B-тесты.
- Уверенная работа с данными: SQL, pandas, инструменты визуализации.
- Высокая самостоятельность и готовность брать ответственность за архитектурные решения.
Будет плюсом
- Опыт построения мультиагентных систем: LangChain, LangGraph, AutoGen или аналоги.
- Внедрение LLM-as-a-judge или RAGAS для автоматической оценки качества.
- Понимание специфики AdTech или перформанс-маркетинга.
- Базовые навыки DevOps (Docker, API, деплой сервисов).