ENGENHEIRO(A) DE DADOS – BIG DATA / DATA LAKE

in Nível: Pleno Cursos de: analise de sistemas,areas correlatas,engenharia de software,tecnologia da informação Escolaridade: Graduação - analise de sistemas,areas correlatas,engenharia de software,tecnologia da informação - Completo Tipo de contrato: PJ Jornada de trabalho: 100% Remoto R$ 120,00/hora Projeto estimado: aproximadamente 30 horasAtuação: Sustentação de ambiente Data Lake em produção Disponibilidade para home-office Responsabilidades da posição: Sobre a oportunidade Buscamos Engenheiro(a) de Dados / Big Data para atuação especializada na manutenção, monitoramento e sustentação de um ambiente de Data Lake que já se encontra em produção, relacionado ao Projeto GFIS 2 – SEFAZ/MA.

A atuação terá duração estimada de aproximadamente 30 horas, com foco na estabilidade do ambiente, acompanhamento dos pipelines existentes, identificação e correção de falhas e suporte técnico especializado.

Principais atividades Sustentação do ambiente de Data Lake em produção; Monitoramento de pipelines de dados batch e streaming; Acompanhamento e análise das execuções de DAGs no Apache Airflow; Identificação e correção de falhas nas cargas; Análise de logs e troubleshooting; Manutenção e ajustes em DAGs existentes; Reprocessamento de cargas quando necessário; Atuação com scripts em Python/PySpark; Execução e otimização de jobs Spark/PySpark; Manipulação e acompanhamento de dados em HDFS; Atuação nas camadas Bronze, Silver e Gold; Monitoramento dos SLAs das cargas; Apoio na resolução de incidentes em ambiente produtivo; Ajustes voltados à estabilidade, performance e confiabilidade do Data Lake; Documentação das intervenções realizadas.

Buscamos um profissional experiente e com autonomia técnica, principalmente em sustentação de ambientes Data Lake/Big Data em produção, capaz de analisar rapidamente incidentes, identificar causas e executar as correções necessárias.

📌 Projeto: GFIS 2 – SEFAZ/MA 💻 Modalidade: 100% remoto 💼 Contratação: PJ / prestação de serviço por hora 💰 Valor: R$ 120,00/hora ⏱️ Estimativa inicial: aproximadamente 30 horas Requisitos obrigatórios para a posição: Cloudera – CDP / Hadoop Ecosystem Apache Airflow HDFS Spark / PySpark Python Pipelines de dados Ambientes Big Data Troubleshooting de pipelines e análise de logs Git / versionamento