cd ..

daita@system:~$ cat ./data-engineering.md

# Engenharia de dados

Pipelines, lakehouse, streaming, infraestrutura de dados para ML.

## Foco

Construir e estressar sistemas de dados que sobrevivem à escala, ao drift de schema e à entropia dos ambientes reais de produção.

## Linhas de pesquisa

  • Arquiteturas lakehouse (Iceberg, Delta, Hudi)
  • Ingestão por streaming e padrões de CDC
  • Evolução de schemas e contratos de dados
  • Observabilidade e linhagem
  • Pipelines de features de ML e paridade offline/online

## Artefatos públicos

  • Implementações de referência de pipelines
  • Ferramentas de migração (SciCat, frameworks de ingestão)
  • Benchmarks abertos e artigos

Tem um problema de pesquisa ou um sistema difícil para construir? Fale com a gente.

Começar uma conversa →