ETL
dados
Extract, Transform, Load: o processo de extrair dados de origens, transformá-los em um formato útil e carregá-los em um destino de análise.
ETL é a espinha dorsal da engenharia de dados. São três etapas:
- Extract (extrair): puxar dados de origens diversas — bancos, APIs, arquivos, eventos.
- Transform (transformar): limpar, padronizar, juntar e enriquecer esses dados.
- Load (carregar): gravar o resultado num destino analítico (data warehouse, data lake).
Há também o ELT, variação em que se carrega o dado bruto primeiro e a transformação acontece depois, dentro do próprio destino — abordagem comum com plataformas modernas como Databricks e BigQuery, que têm poder de processamento de sobra. Orquestradores como o Apache Airflow agendam e monitoram esses fluxos.