O que é o Apache Airflow

O Apache Airflow é uma plataforma open source para criar, agendar e monitorar fluxos de trabalho por código. Em vez de clicar em telas para montar um processo, você descreve o fluxo em Python e o Airflow cuida de rodar cada etapa na ordem certa.

Ele nasceu dentro do Airbnb, criado por Maxime Beauchemin, e depois foi doado à Apache Software Foundation, onde hoje é um projeto de primeiro nível. Está no GitHub Trending em novembro de 2026, o que mostra que a ferramenta segue viva e com comunidade ativa.

O problema que ele resolve é antigo: scripts soltos no cron que dependem uns dos outros, falham em silêncio e ninguém sabe qual rodou ou não. O Airflow dá ordem, histórico, tentativas automáticas e uma interface para ver o que aconteceu.

Como funciona

A ideia central é o DAG (grafo acíclico dirigido). Cada nó é uma tarefa e cada seta diz que uma tarefa só começa depois de outra terminar. Como é acíclico, não existe volta: o fluxo sempre caminha para o fim.

Um DAG é um arquivo Python comum. O scheduler lê esses arquivos, decide quais tarefas já podem rodar e as entrega aos workers, que executam o trabalho de verdade. O estado de tudo fica num banco de metadados, como o PostgreSQL.

Pense numa linha de produção: o DAG é o desenho da esteira, o scheduler é o supervisor que libera cada peça e os workers são as pessoas nas estações. Se uma estação falha, o supervisor sabe exatamente onde parou.

💡
Dica

Mantenha o arquivo do DAG leve. O scheduler lê esses arquivos com frequência, então evite consultar banco ou API no nível do módulo. Faça o trabalho pesado dentro das tarefas.

Principais recursos

O Airflow reúne recursos que explicam sua popularidade em times de dados e de backend:

  • Fluxos como código: versionamento no Git, revisão de código e testes, como em qualquer projeto de software.
  • Agendamento flexível: expressões cron, intervalos fixos e execução disparada por eventos ou por dados.
  • Tentativas e alertas: cada tarefa pode ter retentativas, prazo máximo e notificação em caso de falha.
  • Interface web: visão do grafo, histórico de execuções, logs por tarefa e reexecução manual.
  • Operadores e provedores: pacotes prontos para integrar com bancos, nuvens, Spark, dbt e muitos outros serviços.

O grande diferencial é a combinação de Python puro com um ecossistema grande de integrações. Se você consegue escrever o passo em Python, consegue orquestrar.

Como começar: instalação passo a passo

O caminho mais rápido para testar é o modo standalone, que sobe tudo numa máquina só. Você precisa de Python instalado e de um ambiente virtual limpo.

Passo 1: crie e ative o ambiente virtual. Passo 2: instale o Airflow usando o arquivo de constraints oficial, que fixa versões compatíveis das dependências. Passo 3: rode o comando standalone e abra a interface no navegador.

Python -m venv .venv
source .venv/bin/activate
pip install "apache-airflow==VERSÃO" --constraint "URL_DO_CONSTRAINTS_OFICIAL"
airflow standalone

Troque VERSÃO e URL_DO_CONSTRAINTS_OFICIAL pelos valores indicados na documentação oficial para a versão que você escolher. O comando airflow standalone inicializa o banco, cria um usuário administrador e imprime a senha gerada no terminal.

⚠️
Atenção

O modo standalone usa SQLite e serve para estudo. Em produção use PostgreSQL ou MySQL e um executor adequado, como Celery ou Kubernetes. Windows não é suportado de forma nativa: use WSL2 ou Docker.

Exemplo prático

Vamos montar um fluxo simples de três etapas: baixar dados, transformar e salvar. Salve o arquivo abaixo na pasta dags do seu ambiente do Airflow.

O decorador @dag define o fluxo e o @task transforma cada função Python em uma tarefa. Os valores retornados passam de uma tarefa para a outra automaticamente.

from datetime import datetime
from airflow.sdk import dag, task

@dag(schedule="@daily", start_date=datetime(2026, 11, 1), catchup=False)
def relatorio_diario():

    @task
    def baixar():
        return [10, 20, 30]

    @task
    def transformar(valores):
        return sum(valores)

    @task
    def salvar(total):
        print(f"Total do dia: {total}")

    salvar(transformar(baixar()))

relatorio_diario()

Depois de alguns segundos o DAG aparece na interface. Ative o fluxo, dispare uma execução manual e abra o log da tarefa salvar para ver o resultado impresso. O catchup=False evita que ele tente rodar todas as datas passadas desde o início.

Observação: o import de airflow.sdk vale para a série 3.x. Em versões 2.x, os decoradores ficam em airflow.decorators. Confira a versão instalada antes de copiar o exemplo.

Comparação com alternativas

O Airflow não é a única opção. As alternativas mais citadas são Prefect, Dagster, Luigi e, em outro estilo, ferramentas visuais como o n8n.

  • Prefect e Dagster: abordagem mais moderna para fluxos de dados, com foco em desenvolvimento local e em ativos de dados. Boa escolha para projetos novos com time pequeno.
  • Luigi: mais simples e mais antigo, indicado para pipelines em lote menores.
  • n8n e similares: automação visual com baixo código, ótima para integrar apps, menos indicada para pipelines de dados pesados.
  • Cron: serve para uma tarefa isolada, mas não entrega dependências, histórico nem alertas.

O ponto forte do Airflow é a maturidade: comunidade grande, muita documentação e experiência de mercado. Se a vaga ou o time já usa, saber Airflow abre portas.

Pontos positivos e limitações

Pontos positivos: fluxos versionados em Git, interface clara para operação, ecossistema enorme de integrações e uma comunidade que resolve a maioria das dúvidas.

Limitações: a configuração de produção dá trabalho, com scheduler, banco, executor e monitoramento para manter. A curva de aprendizado em conceitos como XCom, pools e sensores também pesa no começo.

Outra limitação conhecida é que o Airflow orquestra, mas não é feito para processar grandes volumes de dados dentro das próprias tarefas. O trabalho pesado deve ir para um motor externo, como Spark ou um banco analítico.

🔴
Cuidado

Não guarde senhas e tokens dentro do código do DAG. Use Connections e Variables do Airflow ou um gerenciador de segredos, e nunca envie credenciais para o repositório.

Casos de uso reais

Engenharia de dados: um time carrega dados de vendas toda madrugada, transforma com dbt e atualiza o painel de BI antes do expediente.

Machine learning: uma pessoa que cuida de modelos agenda o retreino semanal, valida a métrica e só então pública a nova versão.

Backend e operações: uma equipe de plataforma orquestra rotinas de limpeza, backups e conciliação financeira, com alerta no chat quando algo falha.

Freelancers e pequenas empresas: quem mantém vários scripts de relatório para clientes ganha histórico e reexecução em um lugar só, em vez de depender de logs espalhados.

Dicas e boas práticas

🚀
Pro tip

Torne as tarefas idempotentes: rodar duas vezes a mesma tarefa deve dar o mesmo resultado. Assim você reexecuta falhas sem medo de duplicar dados.

💡
Dica

Use retentativas com intervalo crescente para falhas temporárias de rede, e defina um prazo máximo por tarefa para que nada fique travado indefinidamente.

⚠️
Atenção

Evite passar grandes volumes de dados entre tarefas pelo XCom. Passe apenas referências, como o caminho de um arquivo ou o nome de uma tabela.

Erro comum de iniciante: usar a data atual do Python dentro do DAG. Prefira os parâmetros de data da própria execução, para que reprocessar um dia antigo funcione corretamente.

Teste os DAGs antes de publicar. Um teste simples que apenas importa os arquivos já pega erros de sintaxe e dependências quebradas antes de chegarem ao scheduler.

Comece pequeno: um DAG com poucas tarefas, bem nomeadas, vale mais do que um grafo gigante que ninguém consegue ler.

Vale a pena?

Vale a pena se você tem vários processos que dependem uns dos outros, precisa de histórico, alertas e reexecução, e já se sente à vontade com Python. Para times de dados, é uma das escolhas mais seguras do mercado.

Não vale a pena se você só tem uma ou duas rotinas simples. Nesse caso, cron ou uma ferramenta visual resolvem com muito menos manutenção.

Próximo passo: rode o airflow standalone numa máquina de teste, crie o DAG de exemplo deste artigo e depois adapte para um processo real do seu dia a dia.