Обязанности
Обязанности:
- Эксплуатация кластеров Red Panda / Kafka: развёртывание, мониторинг, обновления, масштабирование;
- Диагностика инцидентов: анализ лагов консьюмеров, проблем репликации, неравномерного партиционирования;
- Поддержка интеграций Red Panda с СУБД:
1. ClickHouse — streaming-загрузки, оптимизация batch-вставок, настройка движков Kafka/Red Panda Engine
2. PostgreSQL — CDC через Debezium, управление слотами репликации, диагностика WAL-накопления
3. MongoDB — Change Streams, настройка коннекторов, работа с BSON-сериализацией
4. Redis — паттерны кэширования stream-данных, управление TTL, диагностика memory pressure
- Настройка производительности: тюнинг retention, управление дисковым хранением, оптимизация пропускной способности;
- Развитие observability: алерты, дашборды, корреляция метрик очередей и баз данных;
- Документирование инцидентов и runbooks.
Требования
Требования:
- Kafka в production: администрирование брокеров, понимание работы продюсеров/консьюмеров, опыт диагностики ребалансировок и backpressure — от 1,5 лет;
- СУБД на уровне support-инженера (хотя бы 2 из 4):
1. ClickHouse — понимание MergeTree-движков, партиционирования, оптимизации INSERT … SELECT из потоковых источников
2. PostgreSQL — индексы, медленные запросы, блокировки, базовое администрирование, репликация
3. MongoDB — структура документов, индексы, работа с репликасетами, понимание Change Streams
4. Redis — типы данных, persistence, memory policies, диагностика latency
- Опыт интеграции потоковых систем и баз: CDC, коннекторы, понимание trade-offs между consistency и latency;
- Linux, Bash, Docker, базовые навыки Kubernetes;
- Мониторинг: Prometheus/Grafana, настройка алертинга;
- Go или Java — чтение кода, написание скриптов;
- Готовность освоить Red Panda: архитектура Raft, отличия от Kafka по операционной модели