Data Engineer

Esta posição é listada em nome de uma empresa parceira, que gerencia todas as aplicações e próximos passos. Nosso parceiro está procurando um Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg baseado no Brasil.

• Projetar, implementar e evoluir pipelines de ingestão, transformação e entrega de dados na AWS, incluindo a criação e manutenção de tabelas Apache Iceberg no Amazon S3.
• Desenvolver jobs de processamento distribuído usando Apache Spark e PySpark através de plataformas como Amazon EMR e AWS Glue, incluindo cargas incrementais, upserts, operações MERGE e reprocessamento histórico.
• Projetar e manter a interoperabilidade entre Snowflake e o lakehouse baseado em Iceberg, incluindo volumes externos, integrações com Glue Data Catalog, sincronização de metadados e tabelas gerenciadas versus externas.
• Automatizar e otimizar a manutenção de tabelas Iceberg, incluindo compactação de arquivos, expiração de snapshots, remoção de arquivos órfãos, evolução de esquema, evolução de partição e atividades relacionadas.
• Projetar e otimizar modelos de dados e consultas no Snowflake, garantindo alto desempenho e utilização eficiente de recursos computacionais.
• Monitorar e otimizar desempenho e custos da AWS e Snowflake, incluindo dimensionamento de warehouses, clustering, estratégias de cache e custos de leitura do data lake.
• Estabelecer e promover boas práticas de engenharia de dados em torno de versionamento Git, CI/CD, testes de dados, documentação, linhagem e revisão de código.
• Implementar controles de governança e segurança de dados, incluindo RBAC do Snowflake, políticas de mascaramento, políticas de acesso a linhas e permissões do AWS Lake Formation.
• Diagnosticar e resolver problemas de desempenho, confiabilidade e disponibilidade em ambientes de dados críticos.
• Servir como referência técnica para o time através de revisões de código, mentoria de profissionais menos experientes e documentação de decisões de arquitetura.
• Colaborar com stakeholders de dados, produto e negócios para entender requisitos e traduzi-los em soluções técnicas escaláveis.
• Contribuir proativamente para a evolução da plataforma de dados, identificando oportunidades para melhorar arquitetura, automação, confiabilidade e eficiência de engenharia.

• Pelo menos 5 anos de experiência comprovada com AWS Cloud em ambientes de produção.
• Pelo menos 3 anos de experiência prática com Snowflake, incluindo modelagem de dados, otimização de consultas, gerenciamento de warehouses e otimização de custos.
• Experiência comprovada em produção com Apache Iceberg, preferencialmente 2+ anos, incluindo particionamento, evolução de esquema, snapshots, time travel, operações MERGE, manutenção e compactação de arquivos.
• Forte experiência com Apache Spark em escala, particularmente PySpark, incluindo ajuste de jobs e solução de problemas relacionados a skew e shuffle.
• Conhecimento sólido dos serviços de dados da AWS, incluindo S3, Glue ETL, Glue Data Catalog, EMR, Athena, Lambda e Step Functions.
• Habilidades avançadas de SQL, com capacidade de desenvolver consultas complexas e otimizar workloads envolvendo grandes volumes de dados.
• Forte compreensão de modelagem de dados e arquiteturas de Data Warehouse, Data Lake e Lakehouse.
• Proficiência em Python para automação e tarefas de engenharia de dados.
• Experiência com ferramentas de orquestração de pipelines de dados, como Airflow, Step Functions, dbt ou tecnologias equivalentes.
• Familiaridade sólida com Git, práticas de versionamento, testes automatizados e processos de revisão de código.
• Proficiência técnica em inglês suficiente para ler e entender documentação técnica.
• Capacidade de trabalhar de forma autônoma e conduzir entregas técnicas complexas com supervisão limitada.
• Fortes habilidades analíticas e de resolução de problemas, com capacidade de investigar e resolver desafios complexos de engenharia de dados.
• Habilidades claras de comunicação e capacidade de colaborar efetivamente com stakeholders de negócios e equipes multidisciplinares.
• Mentalidade proativa e colaborativa, com disposição para propor e implementar melhorias técnicas.
• Obrigatório: experiência profissional comprovada com AWS por pelo menos 5 anos e Snowflake por pelo menos 3 anos.
• Obrigatório: capacidade de apresentar um case em PowerPoint demonstrando experiência prática e trabalho com Snowflake.
• Qualificações desejáveis: certificações SnowPro Core ou Advanced, certificações AWS como Solutions Architect, Data Engineer ou Data Analytics, experiência com Terraform ou outras tecnologias de Infrastructure as Code, experiência em produção com dbt, experiência com catálogos abertos como Glue Data Catalog, Polaris/Open Catalog ou Unity, particularmente em ambientes multi-engine, experiência com tecnologias de streaming como Kinesis, Kafka/MSK ou Snowpipe Streaming, familiaridade com ferramentas de observabilidade e qualidade de dados como dbt tests, Great Expectations ou Monte Carlo.

• Modelo de trabalho totalmente remoto dentro do Brasil.
• Oportunidade de trabalhar em um ambiente dinâmico e colaborativo.