Data lake
Data lake é um repositório que armazena grandes volumes de dados no formato em que chegaram, de várias origens: tabelas, arquivos, registros de sistema, documentos. A estrutura é definida na hora de usar o dado, não na hora de guardar.
O raciocínio por trás do data lake é guardar primeiro e decidir o uso depois. Tudo que os sistemas produzem vai para um armazenamento barato, no formato original, e quem precisar analisa mais tarde. Isso inclui dado que não cabe bem em tabela, como arquivos de texto, imagens, registros de máquina e eventos de navegação.
O data warehouse funciona pelo caminho inverso: o dado entra já limpo, organizado e com significado definido, pronto para relatório. Os dois convivem com frequência. O lake recebe o bruto, e uma parte dele é tratada e levada ao warehouse para análise do dia a dia.
O mal-entendido é achar que guardar tudo é o mesmo que ter tudo disponível. Sem catálogo que diga o que é cada conjunto, de onde veio, quando foi atualizado e quem responde por ele, o lake vira pântano: muito dado, nenhuma confiança. A pessoa encontra três arquivos de clientes e não sabe qual vale.
O que decide o sucesso é governança desde o primeiro dia: catálogo, dono por conjunto de dados, regra de retenção e controle de acesso, principalmente quando há dado pessoal. E uma pergunta de negócio concreta que justifique guardar aquilo.
Quando se aplica
- A empresa gera dados em volume e formatos variados, como sensores de máquina, registros de sistema ou arquivos.
- Existe equipe ou parceiro com capacidade de explorar dado bruto, como em projetos de ciência de dados ou IA.
- É preciso preservar o histórico original para reprocessar quando a regra de análise mudar.
Quando não se aplica
- A necessidade é relatório gerencial com dados de ERP e CRM. Um banco organizado para análise resolve com menos esforço.
- Ninguém vai catalogar nem cuidar da qualidade. O resultado é armazenamento pago para dado que ninguém usa.
- Não há pergunta de negócio definida. Guardar tudo "para o caso de precisar" gera custo e risco com dado pessoal sem retorno claro.
Arquitetura de dados dimensionada para a pergunta de negócio, com catálogo, dono e controle de acesso.
Termos relacionados
Guardar tudo é fácil. Encontrar o dado certo e confiar nele é o trabalho.
O diagnóstico levanta as origens de dado, as perguntas que a gestão precisa responder e qual estrutura de armazenamento atende sem sobrar.
Agendar diagnóstico