Engenheiro de Dados - Brasília, Brasil - Mirante Tecnologia

    Default job background
    Descrição
    Cargo: Engenheiro de Dados

    Tipo de contratação: CLT ou PJ

    Modalidade: Remoto

    Formação: Ensino Superior Completo em Tecnologia ou áreas correlatas;

    Requisitos Obrigatórios/Tecnologia/Conhecimento necessários

    Principais atividades:

  • Projetar, desenvolver e implementar soluções de engenharia de dados eficientes e escaláveis;
  • Colaborar com equipes multifuncionais para entender requisitos e garantir a entrega de soluções de alta qualidade;
  • Conhecimento de esteira de CI/CD seguindo as diretrizes da empresa para automação e entrega contínua;
  • Conhecimento de git para versionamento das soluções;
  • Desenvolver e otimizar jobs Spark (PySpark) para processamento eficiente de grandes volumes de dados;
  • Trabalhar com Tabela Delta para garantir consistência e confiabilidade nos dados;
  • Desenvolver Web Crawlers para coleta e processamento de dados da web;
  • Configurar e manter fluxos de trabalho de dados utilizando Apache Airflow;
  • Requisitos e qualificações:

  • Ter atuado como engenheiro de dados por pelo menos 2 anos;
  • Conhecimento sobre os serviços da AWS;
  • Conhecimento avançado de Banco de Dados Relacional e Banco de Dados Não Relacional;
  • Conhecimento no consumo de APIs e WebServices;
  • Experiência com Web Crawling;
  • Habilidade em programação Python e suas bibliotecas (pandas, etc);
  • Experiência com Apache Airflow;
  • Será um diferencial se você tiver:

  • Certificação e/ou curso(s) na área de Engenharia de Dados;
  • Conhecimento em uma ou mais tecnologias, à seguir: Kubernetes, Kafka, Snowflake e Databricks.