Analista de dados - Curitiba, Brasil - Ewave do Brasil

Descrição

Engenheiro de DadosResponsabilidades e atribuições:

É de responsabilidade da posição catalogar e criar estruturas de programas de sistemas distribuídos para processamento de ETL.Criar processos de integrações de dados em tempo próximo ao real, em processamentos que variam de 5 min a 1 hora e processamentos de longo termo acima de 1 hora.

Estar familiarizado com estruturas de dados modernas como bases de dados chave e valor, relacional, não relacional, documento, grafos, colunar e lineares.

O engenheiro de dados deve ter conhecimento de metodologias e formatos de criptografia.É necessário entender de gerenciadores de fluxo de execuções de tarefas.

O engenheiro de dados deve garantir que o processo de governança de dados seja respeitado sob as regras da companhia.

Requisitos e qualificações:

Escolaridade:
Computação, Engenharia de Software, ou em áreas correlatas


Conhecimento Exigido:

Habilidade em entender a linguagem do negócio;Conhecimento com manipulação de grande quantidade de dados;Conhecimento de bancos de dados e modelagem de dados, processo de extração, transformação e carregamento de dados, Data Warehouse/Data Lake;Experiência em SQL / PL SQL, SAS ou Tableau ou PowerBI, gerenciamento de dados, funções de qualidade, ferramentas de Big Data (Hadoop, Hive, etc.).Conhecimentos em linguagens de programação (Java, Python, R ou Scala).

Conhecimentos em Advanced Message Queuing Protocol (AMQP);Inglês avançado;Conhecimento de clouds AWS ou Oracle;Processamento de dados utilizando Spark;Conhecimentos em AirFlow e Pandas;Utilização de Stream de Dados Kafka;Object storage Oracle e S3;Certificados de cloud AWS e/ou Oracle;Conhecimento banco de dados Oracle e Redshift;Experiência com Oracle Database Integrator - ODI;Experiência com Oracle GoldenGate;Experiência Elastic Search;Conhecimento de StepFunctions;Conhecimento de estruturas Serverless AWS ou Oracle;