- Design and implement secure data pipelines into a Snowflake data warehouse from on-premise and cloud data sources
- Define best practices and standards for data pipelining and integration with Snowflake data lake and warehouses in collaboration with Data Architect and other Data leads
- Design and implement high-performing data pipelines feeding downstream systems
- Collaborate with onshore/ offshore data engineers, BA, and Scrum Masters who will be building or testing data applications in Snowflake environment.
- Design and implement high-performing BI dashboard integrations Cognos and QlikView working with reporting and data visualization developers
- Ensure enterprise security and access control policies are adhered to in the solution
- Creation of architecture and design artifacts and documents
- Conduct design and code reviews
- B.S Computer Science or related degree
- 4+ years' experience in data pipeline architecture and data modelling
- Demonstrably deep understanding of SQL and relational databases (Snowflake preferred)
- Experience with Snowflake SnowSQL and writing user-defined functions would be a plus
- Hands-on experience with Python, Scala, Java, SQL, and tools like NIFI, Attunity, Spark (Databricks/Qubole), etc.
- Hands-on experience with data pipeline tools within cloud-based environments (Argo, Airflow, Luigi, DBT)
- Hands-on experience with CI/CD tools and practices (CircleCI, Travis, Jenkins)
- Hands-on experience with AWS (SQS, S3, Kinesys, Firehose, MKS, Lambda)
- Experience with open-source data warehouse tools
- Constantly improve product quality, security, and performance
- Write good code, performant code (Python preferred)
-
Data Engineer
há 2 semanas
Geekhunter Curitiba, BrasilBenefíciosJornada flexívelDay off no aniversárioRequisitosTecnologias NecessáriasConhecimentos obrigatóriosETLPythonTecnologias DesejáveisConhecimentos não obrigatóriosGoogle CloudAirflowNosqlBigQuerySenioridadeTempo de experiência Pleno/Sênior (4-6 anos de experiência) EXPERIÊNC ...
-
Data Engineer
há 1 semana
Techco. Lab Curitiba, BrasilO Grupo NETZSCH é uma empresa familiar alemã, líder mundial no fornecimento de máquinas e equipamentos, com unidades de produção, vendas e serviços em ...
-
Data Engineer
há 3 semanas
GeekHunter Paraná, Brasil· Esta é uma vaga de um cliente da GeekHunter, candidate-se para ter acesso às informações completas sobre a empresa. · Construção de desenho de tabelas na estrutura de BigQuery · - Desenho de jobs, e desenvolvimento de scripts em Python em estrutura do GETDBT. · - Desenvolver s ...
-
Data Engineer
há 2 semanas
buscojobs Brasil Curitiba, Brasil· • Projetar, desenvolver, testar a unidade e implementar artefatos do Snowflake Datawarehouse analisando os requisitos · • Trabalhar diretamente com arquitetos de sistema para entender as necessidades de negócios, desenvolver e fornecer modelos de dados de floco de neve otimiza ...
-
Data Engineer For Big Data
há 3 dias
buscojobs Brasil Curitiba, BrasilFunção básica do trabalho (Descrição do Cargo): Apoiar a organização de Gerenciamento de Risco em seus fluxos de dados, fornecendo orientação técnica sobre perfil de dados, administração relatórios e fluxos de trabalho para correção; Responsável pelo monitoramento/gerenciamento d ...
-
data engineer iii
há 2 semanas
Bradesco Curitiba, Brasilreq DATA ENGINEER III · Sobreo Bradesco: · Pensamosem estratégias que sejam capazes de criar oportunidades para a realização daspessoas e para o desenvolvimento sustentável de empresas e sociedade. Ao longode oito décadas, com pioneirismo e inovação, contribuímos com a democrati ...
-
data engineer iii
há 2 dias
Bradesco Curitiba, Brasilreq DATA ENGINEER III · Sobreo Bradesco: · Pensamosem estratégias que sejam capazes de criar oportunidades para a realização daspessoas e para o desenvolvimento sustentável de empresas e sociedade. Ao longode oito décadas, com pioneirismo e inovação, contribuímos com a democrati ...
-
data engineer ii
há 2 dias
Bradesco Curitiba, Brasilreq DATA ENGINEER II · Sobreo Bradesco: · Pensamosem estratégias que sejam capazes de criar oportunidades para a realização daspessoas e para o desenvolvimento sustentável de empresas e sociedade. Ao longode oito décadas, com pioneirismo e inovação, contribuímos com a democratiz ...
-
data engineer ii
há 2 semanas
Bradesco Curitiba, Brasilreq DATA ENGINEER II · Sobreo Bradesco: · Pensamosem estratégias que sejam capazes de criar oportunidades para a realização daspessoas e para o desenvolvimento sustentável de empresas e sociedade. Ao longode oito décadas, com pioneirismo e inovação, contribuímos com a democratiz ...
-
Data Engineering Specialist
há 4 dias
Electrolux Curitiba, BrasilFrom ideas to reality. Decode the future. · - Curitiba - PR_ · At Electrolux, as a leading global appliance company, we strive every day to shape living for the better for our consumers, our people and our planet. We share ideas and collaborate so that together, we can develop so ...
-
Data Engineer
há 1 semana
Techco Curitiba, BrasilO Grupo NETZSCH é uma empresa familiar alemã, líder mundial no fornecimento de máquinas e equipamentos, com unidades de produção, vendas e serviços em todo o mundo, possuindo filiais em 36 países e com sede localizada em Selb, na Alemanha. · Procuramos por uma pessoa Data Enginee ...
-
Data Engineer
há 3 dias
Wiley Curitiba, BrasilAbout the Role: · This position within the Wiley Data Analytics & Insights team, is responsible for functioning as the Data Engineer, to develop and maintain data pipelines from multiple data sources into our Data Lake environment. · This individual will work very closely with t ...
-
Data Engineer
há 1 semana
Techco Curitiba, BrasilO Grupo NETZSCH é uma empresa familiar alemã, líder mundial no fornecimento de máquinas e equipamentos, com unidades de produção, vendas e serviços em todo o mundo, possuindo filiais em 36 países e com sede localizada em Selb, na Alemanha. · Procuramos por uma pessoa · Data Engin ...
-
Data Engineer
há 1 semana
Techco curitiba, BrasilO Grupo NETZSCH é uma empresa familiar alemã, líder mundial no fornecimento de máquinas e equipamentos, com unidades de produção, vendas e serviços em todo o mundo, possuindo filiais em 36 países e com sede localizada em Selb, na Alemanha. · Procuramos por uma pessoa Data Engine ...
-
Senior Data Engineer
há 3 dias
Wiley Curitiba, BrasilAbout the Role: · This position within the Wiley Data Analytics & Insights team, is responsible for functioning as the Senior Data Engineer, to develop and maintain data pipelines from multiple data sources into our Data Lake environment. · This individual will work very closely ...
-
Middle Big Data Engineer
há 2 semanas
Kitrum Curitiba, Brasil Tempo integralWe're looking for a Middle Big Data Engineer for an American project. It is an online library with 1.5 million users and 60 million materials. It's like YouTube for those who love to read. Requirements — 3+ years of experience in data engineering creating or managing end-to-end d ...
-
Business Data Analyst Sr
há 2 semanas
Logcomex Curitiba, BrasilSomos uma startup apaixonada por tecnologia, inovação e pessoas · Desenvolvemos uma plataforma que ajuda as empresas a planejar, monitorar e automatizar o seu supply chain global. Organizamos as informações do comércio global e transformamos a maneira como as empresas fazem negóc ...
-
Data Scientist
há 3 semanas
Volvo Group Curitiba, BrasilBrazil · **Position Description** · "Are you passionate about data and interested in the automotive industry? We are a data analytics team at Powertrain Engineering at Volvo Group's Application Center in Curitiba, looking for a Data Scientist to join us" · As a Data Scientist, yo ...
-
674 Data Scientist
há 3 semanas
A PRIORI EXCELÊNCIA EM RECURSOS HUMANOS Curitiba, Brasil**Requisitos**: · - Degree in Engineering, Computer Science, Mathematics, Statistics, or a related field; · - Strong communication skills in both Portuguese and English, both spoken and written; · - Experience working with data analysis functions; · - Experience handling large re ...
-
883 Data Scientist
há 2 semanas
A PRIORI EXCELÊNCIA EM RECURSOS HUMANOS Curitiba, Brasil**Requisitos**: · - BS/BA Degree (MS preferred) preferably in Engineering, Computer Science or equivalent combination of education and experience; · - Substantial applied statistics/mathematics skills; · - Substantial logical problem solving skills using data driven methods e.g. ...
Data Engineer - Curitiba, Brasil - Wiley
Descrição
About the Role:
This position within the Wiley Data Analytics & Insights team, is responsible for functioning as the Data Engineer, to develop and maintain data pipelines from multiple data sources into our Data Lake environment. This individual will work very closely with the other development leads, data engineers, and data architects to build and maintain data pipelines going to different zones of the Snowflake Data Warehouse environment. Determine the optimal approach for extracting, transforming, and loading data into different zones of Data Lake (Raw/Native, Processed/Transformed, Enriched, Archive). This includes design and development to prepare data for movement storage & consumption Views, ELT Processes, Extracts & other processes that manipulate, aggregate, clean, or enrich the data. The individual should demonstrate a thorough understanding of business validations and data quality. They should apply these principles diligently within our processes, aligning with the specific use cases.
This data lake would see regular addition of datasets from internal and external sources
deemed important for Wiley's data analytics and insights requirements. In some cases, this role may involve building repeatable data feeds to and from platforms such as, Salesforce, SAP, MDM, Eloqua, e-commerce websites, etc. The position requires development skills to enable the matching and linking of internal and external data sources (especially as it relates to Customer and products) using analytical techniques/tools. The role will have frequent interaction/collaboration with Solutions Architects, Data Architects, BI & Analytics Development, Data Engineering, Marketing, Sales, Application/Product teams and Enterprise Architects to support Wiley's Data Analytics and Insights roadmap.
How you will make an impact:
What we look for:
About Wiley:
Wiley is a trusted leader in research and learning, our pioneering solutions and services are paving the way for knowledge seekers as they work to solve the world's most important challenges. We are advocates of advancement, empowering knowledge-seekers to transform today's biggest obstacles into tomorrow's brightest opportunities.
With over 200 years of experience in publishing, we continue to evolve knowledge seekers' steps into strides, illuminating their path forward to personal, educational, and professional success at every stage. Around the globe, we break down barriers for innovators, empowering them to advance discoveries in their fields, adapt their workforces, and shape minds.
When applying, please attach your resume/CV to be considered
#LI-AH1
