AI/ML Engineer

О компании

• Команда разрабатывает корпоративных AI-агентов и RAG-системы для умного поиска по внутренней документации

Обязанности

• Повышение качества RAG-агентов: поиск по технической документации, нормативной базе, бухгалтерской документации
• Промпт-инжиниринг и контекст-инжиниринг для агентов команды
• Подготовка эталонных наборов оценки качества
• Реализация LLM-as-a-judge как методологии автоматических регрессионных проверок
• Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация выходов, защита от утечек ПДн, anti-hallucination
• A/B-тестирование промптов и моделей
• Тюнинг качества по сигналам обратной связи и трассировкам из Langfuse

Требования

• Python от 2 лет коммерческой разработки
• Практический опыт RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS, pgvector), переранжирование, чанкинг
• Опыт построения и поддержки RAG-решения от начала до конца
• Практический опыт оценки качества LLM-систем

Условия

• Москва