Arquiteto de Banco de Dados - Santos, Brasil - Resolv

Descrição

Visão Geral da Posição:

Estamos buscando um Arquiteto de Banco de Dados & Desenvolvedor ETL altamente qualificado para estruturar e modelar nosso repositório de dados extenso, atualmente composto por 7TB de arquivos CSV e 5TB de dados em SQL Server, em um banco de dados relacional MariaDB hospedado em uma nuvem privada alemã (Hetzner).

Esta função envolve o design de arquiteturas de dados de alto desempenho, o desenvolvimento de ETLs e a criação de algoritmos para gerar insights acionáveis por meio de APIs e processos em batch.

Além disso, utilizaremos o LLM Studio para consumir esta base de dados e criar agentes sobre essa LLM que consumirão essa inteligência.

Responsabilidades Principais:

Design e Modelagem de Banco de Dados:
Estruturar e modelar os dados existentes em um banco de dados relacional MariaDB.
Garantir a integridade dos dados, escalabilidade e alto desempenho.
Migrar dados de CSV e SQL Server para MariaDB.

Implantação em Nuvem:
Implantar o banco de dados MariaDB na plataforma de nuvem Hetzner.
Assegurar uma infraestrutura de nuvem segura, eficiente e robusta.

Desenvolvimento de ETL:
Desenvolver processos ETL para ingerir, transformar e carregar dados no MariaDB.
Implementar e gerenciar fluxos de trabalho e pipelines de dados.

Desenvolvimento de Algoritmos:
Criar algoritmos para gerar indicadores de pontuação a partir dos dados.
Desenvolver APIs (RESTful) para consumo de dados em tempo real e batch usando Python ou

Otimização de Performance:
Otimizar o desempenho do banco de dados para consumo via API.
Garantir alta disponibilidade e confiabilidade da arquitetura de dados.

Colaboração e Documentação:
Colaborar com equipes internas para mapear bases de conhecimento e convertê-las no ciclo do MariaDB.
Documentar designs de banco de dados, processos ETL e algoritmos para referência futura.

Habilidades e Competências Necessárias:

Habilidades Técnicas:
Proficiência em MariaDB e SQL Server.
Sólida experiência em design, modelagem e otimização de bancos de dados.
Expertise em ferramentas e processos ETL.
Compreensão sólida de plataformas de nuvem, especificamente Hetzner.
Proficiência em Python ou para desenvolvimento de APIs.

Certificações:
Certified Database Administrator (CDBA) ou equivalente.
Certified MariaDB Administrator (CMA) é um diferencial.
AWS Certified Solutions Architect ou certificação de nuvem similar.

Competências Profissionais:
Excelentes habilidades de resolução de problemas e análise.
Fortes habilidades de comunicação e colaboração.
Capacidade de trabalhar de forma independente e gerenciar múltiplas tarefas.
Orientado a detalhes com forte foco em qualidade e desempenho.

Experiência:
Mínimo de 5 anos em arquitetura de banco de dados e desenvolvimento de ETL.
Histórico comprovado de migração de grandes volumes de dados para bancos de dados relacionais.
Experiência em implantar e gerenciar bancos de dados em ambientes de nuvem.