Estudando este mês:

e mais 555 alunos(as)

Resumo do curso

  • Crie um Data Pipeline do zero usando as principais ferramentas do mercado
  • Saiba como extrair dados diretamente da API do Twitter
  • Aprenda o que é o Apache Airflow e como usá-lo para orquestrar tarefas
  • Aprenda o que é o Apache Spark e como usá-lo para processamento distribuído
  • Mergulhe fundo em um Data Lake e entenda como melhor usá-lo
  • Extraia conhecimento de dados transformados pelo Data Pipeline

Público alvo

Para engenheiros de dados, pessoas desenvolvedoras Python, analistas de dados e cientistas de dados com interesse em conhecer mais sobre Data Pipelines.

Conteúdo relacionado

Cursos de Engenharia de Dados em Data Science

Leia nossos artigos de Data Science

Já é aluno?

Comece o curso agora

12h

p/ conclusão

64

Atividades

246

Minutos de video

1665

Alunos nesse curso

8.8

Nota deste curso

Certificado de participação

Um pouco mais do conteúdo

Descubra se esse curso é pra você lendo as primeiras aulas de Engenharia de dados: Conhecendo Apache Airflow

Formação com esse curso

Conteúdo Detalhado

  1. O que são Data Pipelines

    • Apresentação
    • Projeto: Extraindo dados do Twitter
    • Conceito de Data Pipelines
    • Apache Airflow
  2. Airflow: Gancho conectado ao Twitter

    • Instalando Airflow
    • Conectando ao Twitter
    • Criando uma conexão
    • Criando um gancho
  3. Airflow: Exportando dados para o Data Lake

    • Criando operadores conectados a ganchos
    • Criando operadores exportando ao Data Lake
    • Criando estágio bruto do Data Lake
    • Criando plugins no Airflow
  4. Spark: Consumindo dados brutos do Data Lake

    • Instalando Spark
    • Lendo dados brutos do Data Lake
    • Analisando dataframes e seu esquema
    • Transformando estruturas complexas em dataframes
  5. Spark: Exportando os dados transformados para o Data Lake

    • Exportando dataframes no Data Lake
    • Segundo estágio do Data Lake
    • Criando o trabalho de transformação no Spark
    • Integrando Spark ao Airflow
  6. Finalizando o Pipeline

    • Criando a DAG
    • Executando a DAG
    • Consumindo as tabelas processadas pelo Spark
    • Conclusão

Ainda não estuda com a gente?

Invista na transformação da sua carreira!

Comece agora

nossos alunos e alunas

Experiências de quem já mergulhou com a gente.

O conteúdo é muito extenso e denso, acho que deveria ser dividido ou precedido por um curso focado em pyspark.

Engenharia de dados: Conhecendo Apache Airflow

Jefferson Alexandre Silva

Curso introdutório que abrangeu tecnologias importantes utilizadas na atualidade na Engenharia de Dados. Os exemplos apresentados foram excelentes. Ficou faltando um pouco mais de conteúdo acerca do Zeppelin. Parabéns.

Engenharia de dados: Conhecendo Apache Airflow

Eduardo Batista de Melo

Esse curso é sensacional! Eu já fiz vários cursos de Machine Learning aqui na Alura, e mesmo assim eu sinto dificuldade em converter informação não estruturada de minha empresa para poder fazer um treinamento decente de Machine. Este curso do Rafael Boittega veio como uma luva! Era o que eu estava procurando! Vou repetir esse curso para conectar com dados de minha empresa e, assim, montar algum projeto interessante.

Engenharia de dados: Conhecendo Apache Airflow

MIGUEL ANGELO DE BARROS MOUTINHO NETO

Aprenda Engenharia de Dados com esse e outros cursos, comece agora!

Plus

  • Acesso a TODOS os cursos da plataforma

    Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X
R$85
à vista R$1.020
Matricule-se

Pro

  • Acesso a TODOS os cursos da plataforma

    Mais de 1200 cursos completamente atualizados, com novos lançamentos todas as semanas, em Programação, Front-end, UX & Design, Data Science, Mobile, DevOps e Inovação & Gestão.

  • Alura Challenges

    Desafios temáticos para você turbinar seu portfólio. Você aprende na prática, com exercícios e projetos que simulam o dia a dia profissional.

  • Alura Cases

    Webséries exclusivas com discussões avançadas sobre arquitetura de sistemas com profissionais de grandes corporações e startups.

  • Certificado

    Emitimos certificados para atestar que você finalizou nossos cursos e formações.

  • Alura Língua (incluindo curso Inglês para Devs)

    Estude a língua inglesa com um curso 100% focado em tecnologia e expanda seus horizontes profissionais.

12X
R$120
à vista R$1.440
Matricule-se
Conheça os Planos para Empresas

Acesso completo
durante 1 ano

Estude 24h/dia
onde e quando quiser

Novos cursos
todas as semanas