Estudando este mês:

e mais 114 alunos(as)

Resumo do curso

  • Realize a ingestão de dados brutos
  • Entenda como aplicar processos de engenharia de dados
  • Produza uma análise estruturada com base nos dados lidos
  • Entenda para que realizar a paralelização de processos de transformações em dados brutos
  • Aplique as regras de negócio estabelecidas em transformações nos dados ingeridos
  • Una bases diferentes para que tenham correlações que possam ser extraídas
  • Persista os resultados das transformações para processos que utilizarão os dados tratados

Público alvo

Pessoas que trabalham com ciência, engenharia ou análise de dados que querem melhorar a forma de realizar a preparação de dados para outros processos ou aprender um novo ferramental para trabalhar com engenharia de dados.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

63

Atividades

221

Minutos de video

552

Alunos nesse curso

9.2

Nota deste curso

Certificado de participação

Um pouco mais do conteúdo

Descubra se esse curso é pra você lendo as primeiras aulas de Apache Beam: Data Pipeline com Python

Formação com esse curso

Instrutores

  • Pedro é formado em Mecatrônica Industrial, com mestrado em Energias Renováveis. Atuou na indústria e na construção civil com aplicações em Internet das Coisas e análise de dados, como desenvolvedor de software e atualmente trabalha como arquiteto de soluções, trabalhando com processos de Engenharia de Dados e Engenharia de Machine Learning no mercado de risco de crédito. Professor desde cedo, entende que quem mais aprende é quem mais compartilha.

Conteúdo Detalhado

  1. Data Pipeline

    • Apresentação
    • Data Pipeline
    • Dados brutos
  2. Pipeline e transformações

    • Apache Beam
    • Pipeline casos de dengue
    • De texto para lista
  3. Dados de dengue

    • De lista para dicionário
    • Tratando datas
    • Chave por estado
  4. Dados de chuvas

    • mm por estado, ano e mês
    • Somar dados
    • Pipeline de chuvas
  5. Agrupando e retornando tupla

    • Chave por estado ano mês
    • Agrupar e somar chuva
    • Retornar tupla
  6. Analisando e juntando pcollections

    • Análise de Pipelines
    • Mescla com CoGroupByKey
    • Filtro
  7. Persistência dos resultados

    • Desagrupamento
    • Preparo para escrita
    • Escrita
    • Análise
    • Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

Curso incrível, com ótimos exemplos e uma excelente didática.

Apache Beam: Data Pipeline com Python

Fernando

O curso é bastante interessante, o conjunto de dados abordado foi muito adequado ao conteúdo. Além disso, o professor apresentou uma didática impecável.

Apache Beam: Data Pipeline com Python

Madson Luiz Dantas Dias

Experiência boa. O curso muito bom e um fato que achei interessante é que a ferramenta permite a construção de arquivos Parquet e Avro pouco falado aqui nos cursos da Alura. Gostaria de ver cursos mais voltados para o ambiente Hadoop.

Apache Beam: Data Pipeline com Python

Luiz Peralta

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

  • Acesso a TODOS os cursos da plataforma

    Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X
R$85
à vista R$1.020
Matricule-se

Pro

  • Acesso a TODOS os cursos da plataforma

    Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X
R$120
à vista R$1.440
Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas