Principal Engineer

About the company

• CoreWeave — The Essential Cloud for AI™, публичная компания (Nasdaq: CRWV) с 2025 года.

Responsibilities

• Определять многолетнюю стратегию и roadmap бенчмаркинга; приоритизировать модели/нагрузки (LLM, diffusion, vision, speech) и уровни железа.
• Строить, вести и менторить команду performance-инженеров и дата-аналитиков.
• Вести end-to-end MLPerf Inference и Training сабмиты: выбор нагрузок, планирование кластеров, runbooks, аудиты, публикация результатов.
• Координировать оптимизации с NVIDIA (CUDA, cuDNN, TensorRT/TensorRT-LLM, Triton, NCCL).
• Проектировать Kubernetes-native сервис бенчмаркинга для SUNK (Slurm on Kubernetes), Kueue и Kubeflow.
• Измерять p50/p95/p99 latency, jitter, tokens/s, time-to-first-token, cold/warm-start, cost-per-token/request.
• Строить CI/CD пайплайны и K8s контроллеры/операторы; интегрировать с Prometheus, Grafana, OpenTelemetry.
• Взаимодействовать с NVIDIA, ISV и OSS (vLLM, Triton, KServe, PyTorch/DeepSpeed, ONNX Runtime).

Requirements

• 10+ лет построения распределённых систем или HPC/cloud-сервисов.
• Опыт архитектуры planet-scale data-систем (телеметрия, observability, OLAP).
• Глубокое понимание GPU-производительности (CUDA, NCCL, RDMA, NVLink/PCIe, memory bandwidth).
• Опыт с model-server стеками (Triton, vLLM, TensorRT-LLM, TorchServe) и distributed training (PyTorch FSDP/DeepSpeed/Megatron-LM).
• Уверенное владение Kubernetes и ML control planes; знакомство с SUNK, Kueue, Kubeflow.
• Отличные коммуникативные навыки.
• Nice to have: time-series БД, LSM, MLPerf, вклад в OSS, бенчмаркинг тысяч GPU.

Conditions

• Базовая зарплата $206,000–$333,000.
• Дискреционный бонус, equity, comprehensive benefits.
• Медицинская, dental и vision страховка 100% оплачивается CoreWeave, 401(k) с match, flexible PTO.