Data Developer

Esta posição é listada em nome de uma empresa parceira, que gerencia todas as candidaturas e próximos passos. Nosso parceiro está procurando um Data Developer (Azure/Databricks) Sênior baseado no Brasil.

Esta é uma oportunidade sênior de Engenharia de Dados para construir e evoluir soluções de dados escaláveis em um ambiente orientado por tecnologia e um projeto especializado de serviços financeiros. Você projetará, desenvolverá e manterá pipelines ETL/ELT robustos usando Azure e Databricks, trabalhando com grandes volumes de dados e arquiteturas modernas em nuvem. A função combina engenharia prática com uma perspectiva mais ampla de 360 graus, garantindo que as decisões técnicas apoiem o projeto e os objetivos de negócios. Você contribuirá para iniciativas de migração para a nuvem, modelagem de dados, governança, automação de CI/CD e implantação de modelos de IA em ambientes de produção. Trabalhando em estreita colaboração com equipes de negócios e ciência de dados, você ajudará a transformar dados de alta qualidade em capacidades analíticas e de IA confiáveis. Esta posição é ideal para um profissional sênior que gosta de resolver desafios complexos de dados e trabalhar com tecnologias modernas de nuvem, análise e IA.

• Desenvolver, manter e otimizar pipelines de dados ETL/ELT no Azure, utilizando Databricks e PySpark para processamento e integração de dados em larga escala.
• Aplicar uma perspectiva de 360 graus às iniciativas de engenharia de dados, entendendo a arquitetura mais ampla e antecipando como decisões técnicas individuais podem afetar o projeto geral.
• Implementar práticas de CI/CD para automatizar implantações, melhorar fluxos de trabalho de desenvolvimento e manter versionamento de código confiável por meio do GitHub.
• Projetar, modelar e evoluir tabelas no Unity Catalog, seguindo convenções de nomenclatura consistentes, práticas de versionamento de esquema e padrões de governança de dados.
• Projetar e otimizar modelos de dados e estruturas analíticas para suportar escalabilidade, desempenho, confiabilidade e consumo eficaz de dados.
• Apoiar iniciativas de migração para a nuvem, contribuindo para arquiteturas de dados seguras, de alta qualidade e confiáveis, mantendo a integridade dos dados durante o processo de migração.
• Colaborar com partes interessadas de negócios e equipes de ciência de dados para apoiar a implantação e operacionalização de modelos de IA em ambientes de nuvem.
• Estabelecer e manter práticas de qualidade de dados, incluindo perfil de dados, monitoramento, validação e verificações de consistência em pipelines de dados.
• Documentar processos de engenharia de dados, arquiteturas, decisões técnicas, padrões e melhores práticas para promover manutenibilidade e compartilhamento de conhecimento.

• Experiência profissional sólida trabalhando com Azure Data Services e Databricks em ambientes de engenharia de dados.
• Forte experiência prática com Databricks e PySpark para processamento e transformação de dados distribuídos.
• Experiência prática com Medallion Architecture e camadas analíticas de dados, incluindo ingestão, preparação e consumo.
• Proficiência avançada em Python e SQL para manipulação, transformação, integração e análise de dados.
• Experiência na implementação de processos de CI/CD e versionamento de código-fonte usando GitHub.
• Forte conhecimento de modelagem analítica de dados e experiência no design de estruturas de dados escaláveis para ambientes de grande volume.
• Experiência anterior em projetos de migração para a nuvem, preferencialmente envolvendo plataformas de dados e arquiteturas modernas em nuvem.
• Experiência sólida no desenvolvimento de processos ETL/ELT e integração de grandes volumes de dados de múltiplas fontes.
• Experiência no suporte à implantação de modelos de IA ou Machine Learning em ambientes de nuvem, incluindo exposição a ferramentas como Azure Machine Learning.
• Experiência com projetos relacionados a IA e automação de pipelines de dados e machine learning.
• Forte compreensão de arquiteturas orientadas a dados, governança de dados e melhores práticas de engenharia é um diferencial.
• Experiência em serviços financeiros ou outros ambientes altamente regulamentados é considerada uma vantagem.
• Familiaridade com iniciativas de Master Data Management (MDM) é desejável.
• Experiência com Databricks MLflow para gerenciamento de modelos e rastreamento de ciclo de vida é um diferencial.
• Familiaridade com ambientes de Data Lake e Data Warehouse é desejável.
• Forte pensamento analítico, habilidades de colaboração, propriedade e capacidade de entender o impacto mais amplo das decisões técnicas.

• Plano de saúde e odontológico.
• Vale-refeição e alimentação.
• Auxílio-creche.
• Licença parental estendida.
• Acesso a profissionais de fitness, saúde e bem-estar por meio de parcerias Wellhub/Gympass e TotalPass.
• Programa de participação nos lucros (PLR).
• Seguro de vida.
• Oportunidades de aprendizado contínuo por meio de uma plataforma corporativa dedicada de aprendizado.
• Acesso a recursos online de saúde, saúde mental e bem-estar.
• Programas de apoio à gravidez e paternidade responsável.
• Parcerias com plataformas online de aprendizado e desenvolvimento profissional.
• Plataforma de aprendizado de idiomas.
• Programas de desconto para funcionários.
• Ambiente inclusivo com equipes dedicadas de saúde e bem-estar, especialistas em inclusão e grupos de afinidade de funcionários.
• Salário adicional, saúde, licença e outros benefícios podem ser fornecidos de acordo com as políticas aplicáveis da empresa parceira.
• Para candidatos residentes na Região Metropolitana de Campinas, é necessária presença regular nos escritórios locais de acordo com a política de local de trabalho aplicável.