О компании
Авито. Команда Automated Moderation в направлении Trust & Safety развивает инструменты доверия и безопасности на платформе. Команда разрабатывает и поддерживает ML-систему проверки объявлений: анализирует текст, фото и параметры, автоматизирует проверки и снижает нагрузку на ручную модерацию. Основной проект — развитие LLM-модерации; система уже работает в продакшене.
Обязанности
- Развивать LLM-проверки: переводить регламенты модерации в инструкции для моделей, разбирать ошибки и улучшать качество решений.
- Строить воспроизводимые эксперименты, сравнивать модели, промпты, состав входных данных и пороги принятия решений.
- Применять и развивать автоматическую оптимизацию промптов, дообучать модели и LoRA-адаптеры, когда это оправдано качеством и стоимостью.
- Готовить датасеты: организовывать сбор и разметку, проверять качество данных и репрезентативность выборок.
- Встраивать решения в пайплайны автомодерации и обеспечивать стабильную работу в продакшене с учётом качества, задержек, вычислительной стоимости и рисков ошибок.
- Настраивать мониторинг качества и деградаций, алерты и регулярные итерации улучшений.
- Оценивать влияние решений на продуктовые и бизнес-метрики.
Требования
- Уметь проводить полный цикл ML-разработки: от работы с данными и моделью до продакшена, мониторинга и проверки влияния с помощью A/B-тестов или эквивалентных подходов.
- Большой опыт в NLP или значимый опыт вывода и сопровождения моделей в продакшене.
- Опыт работы с LLM в прикладных задачах и умение проверять качество решений на данных.
- Опыт дообучения LLM и VLM, работы с LoRA, PEFT и оптимизацией инференса, например с vLLM.
- Уверенное владение Python и DS-стеком: NumPy, pandas, scikit-learn, CatBoost или аналогами; умение работать с DL-фреймворками, например PyTorch.
- Понимание выбора методов под задачу и умение аргументировать компромиссы между качеством, стоимостью, скоростью и рисками.
- Умение оценивать качество моделей при запуске и отслеживать его изменение во времени: дрейф, деградации, проблемы данных.
- SQL на уровне, достаточном для анализа данных и диагностики качества.
- Умение читать англоязычную техническую литературу.
- Будет преимуществом опыт в модерации, Trust & Safety или антифроде; разработка инструментов для AI-агентов, MCP-серверов или автоматизация ML-процессов с их помощью; знакомство с MLOps-практиками и Kubeflow, K8s, feature store, MLflow; настройка мониторинга и алертов в Grafana, участие в A/B-тестах и канареечных релизах; использование LLM в прикладных задачах; опыт с CV или мультимодальными задачами, например VLM.
Условия
- Локация: Москва; гибридный или удалённый формат работы.
- Возможность участвовать во всех этапах масштабного инженерного процесса работы над ML-решением, влиять на продуктовые и бизнес-метрики и работать над развивающими задачами.
- Культура взаимопомощи и обмена опытом; прозрачный карьерный трек, семинары, менторство и митапы.
- ДМС, страхование жизни и онкострахование; психологическая поддержка, финансовые, юридические и ЗОЖ-консультации для сотрудника и близких.
- Корпоративный спорт: групповые тренировки и велбиинг-приложение.
- Спецпредложения от партнёров и скидки на сервисы Авито, включая бронирование жилья, услуги продвижения и ипотечное страхование.
- Компенсация питания.