ML Optimization Engineer

О компании

Obscura Compute. Мы являемся ведущим участником в децентрализованной сети AI Gonka.

Обязанности:

• Реализовывать продвинутые оптимизации вывода (спекулятивное декодирование, квантование и т.д.) для максимизации веса майнинга;
• Настраивать конфигурации Docker для различных моделей GPU;
• Разрабатывать стратегии оптимизации, которые балансируют пропускную способность и качество;
• Создавать и поддерживать пользовательские образы Docker, оптимизированные для конкретных архитектур GPU;
• Проектировать и реализовывать системы для стабильного и масштабируемого майнинга.

Требования:

• Доказанный опыт в оптимизации больших языковых моделей;
• Глубокое понимание архитектур трансформеров и механизмов внимания;
• Умение работать с PyTorch, CUDA и техниками оптимизации GPU.