О компании
Позиция размещена от имени партнёрской компании, которая управляет всеми заявками и последующими шагами. Партнёр ищет Senior AWS Data Platform Engineer в Бразилии.
Обязанности
- Проектирование, создание и управление облачными платформами данных на AWS с использованием AWS Glue, EMR, Lake Formation, EC2 и CloudWatch.
- Разработка, поддержка и оптимизация пайплайнов данных с использованием Python, PySpark и продвинутого SQL.
- Внедрение открытых табличных форматов, включая Apache Hudi или Apache Iceberg.
- Автоматизация провижининга инфраструктуры и деплоя с использованием Terraform и практик infrastructure-as-code.
- Внедрение валидации данных, очистки, безопасности, управления и мониторинга.
- Мониторинг и оптимизация производительности, масштабируемости и использования ресурсов.
- Сотрудничество с инженерными командами и стейкхолдерами.
Требования
- Практический опыт проектирования и разработки платформ данных на AWS (AWS Glue, EMR, Lake Formation).
- Сильные навыки программирования на Python.
- Продвинутый SQL и опыт построения сложных пайплайнов данных.
- Опыт использования Apache Spark и PySpark.
- Практический опыт внедрения Apache Hudi или Apache Iceberg.
- Знание Terraform и принципов infrastructure-as-code.
- Понимание безопасности данных, управления, контроля качества, мониторинга и оптимизации производительности.
- Английский на уровне C1.
- Опыт в финансовых услугах или инвестиционном банкинге, обработка данных в реальном времени с Apache Flink или Kafka Streams, event-driven архитектуры — преимущество.
Условия
- Конкурентная компенсация: до R$27,000 BRL в месяц (gross).
- Полностью удалённая работа из Бразилии.
- Международное сотрудничество с распределёнными командами.