Создание, поддержка и расширение автоматизированного тестирования для AI-голосовых и чат-агентов, охватывающего отдельные разговорные ходы, полные ролевые игры и сквозные потоки.
Проектирование и выполнение тестов для качества вывода LLM, включая корректность, согласованность, структурированные выходные данные, языковую точность, регрессии промптов и другие недетерминированные поведения.
Разработка подходов к оценке с использованием техник LLM-as-a-judge, golden datasets, assertions на основе допусков и других методологий оценки ИИ.
Валидация RAG-пайплайнов с особым вниманием к релевантности извлечения, обоснованности, достоверности и общему качеству ответов.
Тестирование голосовых пайплайнов, включая точность speech-to-text и text-to-speech, многоязычное поведение и производительность в реальном времени с низкой задержкой.
Автоматизация тестирования на уровнях UI/E2E, API, базы данных, AI-вывода, десктопа и мобильных устройств.
Создание и улучшение процессов качества CI/CD, включая линтинг, проверки типов, автоматизированные тесты, оценки ИИ, пороги покрытия и проверки развертывания.
Владение активностями по качеству релизов, включая стратегии регрессии, раннее выявление дефектов и рекомендации go/no-go на основе доказательств.
Владение существующими наборами автоматизации QA, улучшение их покрытия и надежности, создание более сильных общих фреймворков, инструментов, процессов и стандартов QA.
Поддержка нагрузочного и производительного тестирования и постоянная адаптация практик качества по мере развития продуктов, приоритетов и технических задач.
Требования
5+ лет опыта в качестве QA Automation Engineer, включая подтвержденный практический опыт тестирования AI-систем, а не только традиционного ПО.
Продемонстрированная способность создавать фреймворки тестирования, стандарты QA и автоматизацию, интегрированную в CI/CD, с нуля.
Практический опыт тестирования разговорного ИИ, включая голосовых и/или чат-агентов, в реальных производственных проектах.
Сильное понимание LLM, prompt engineering, RAG и подходов к тестированию и оценке недетерминированных AI-выходов.
Знание голосовых технологий и пайплайнов, включая speech-to-text и text-to-speech, и опыт автоматизации их тестирования.
Практический опыт с инструментами оценки или наблюдаемости LLM, такими как Langfuse, LangSmith, DeepEval или RAGAS.
Сильное владение автоматизацией тестирования UI/E2E и API, включая инструменты, такие как Playwright, а также опыт создания или значительного улучшения CI/CD пайплайнов.
Опыт тестирования баз данных, нагрузочного и производительного тестирования, автоматизации тестирования десктопа или мобильных устройств.
Сильные практики Git, базовые знания облака и знакомство с Agile-разработкой и спринтовой поставкой.
Прагматичный, практичный подход и способность эффективно работать в быстро меняющихся средах.
Сильные навыки решения проблем и ответственности, способность быстро понимать незнакомые системы и проявлять инициативу в новых задачах.
Знакомство с TypeScript является плюсом, особенно для чтения существующих кодовых баз и прямого вклада в тестовый и автоматизационный код.
Дополнительный ценный опыт включает LiveKit или WebRTC, технологии STT/TTS, такие как Azure Speech, Google Cloud Speech, Deepgram или Whisper, и инфраструктуру AI/ML, такую как vLLM, TGI, Triton или Azure OpenAI.
Опыт с golden datasets, human-in-the-loop оценкой, Braintrust, Promptfoo, Cypress, Postman, AWS/Azure/GCP, Terraform, Pulumi, CloudFormation, Docker или Kubernetes также является преимуществом.
Знакомство с продуктовой аналитикой, многоязычным или локализованным тестированием, производственным мониторингом и инструментами отслеживания ошибок является дополнительным плюсом.
Условия
Полностью удаленная рабочая среда с возможностью работы из Индии в распределенной команде, ориентированной на APAC.
Полная занятость в инженерной организации, работающей над AI-продуктами.
Высокий уровень ответственности и автономии в стратегии QA, автоматизации, оценке и качестве релизов.
Возможность работать вручную с передовыми AI-технологиями, включая LLM, RAG, разговорных агентов и голосовые пайплайны.
Прямое влияние на качество, надежность и готовность AI-продуктов для клиентов.
Возможность создавать и развивать фреймворки тестирования, системы оценки и инфраструктуру качества CI/CD с нуля.
Быстро меняющаяся среда, предлагающая доступ к новым AI-технологиям и сложным задачам качества.
Совместная работа с командами инженерии, продукта и QA.
Профессиональный рост через владение сложными, развивающимися техническими задачами.