Alerta demais e confiança de menos

Existe um estágio previsível na vida de todo monitoramento: o momento em que a equipe para de olhar.

Não é negligência. É adaptação racional a um painel que disparou vinte avisos na semana passada e nenhum deles exigia ação. Quando o alerta que importa chega, ele entra na mesma pilha dos outros dezenove.

O que separa alerta de ruído

Um alerta útil responde três perguntas antes de ser criado:

Alguém precisa agir agora? Se a resposta é “vamos ver amanhã”, isso é relatório, não alerta. Relatório tem lugar próprio e não acorda ninguém.

O que exatamente a pessoa faz ao receber? Se não existe ação definida, o alerta só transfere ansiedade.

Isso afeta quem usa o sistema? Uso de disco em 81% não afeta ninguém. Uso de disco crescendo 5% por dia afeta, e o segundo é que merece alerta.

A maioria dos painéis herdados falha nas três, porque foi configurada com os limites padrão da ferramenta.

Por que o número não basta

Monitoramento responde perguntas que alguém pensou antes: o serviço está no ar, a fila cresceu, a memória subiu. São boas perguntas, e o alerta funciona bem para elas.

O problema é a pergunta que ninguém previu. O sistema ficou lento para alguns clientes, entre nove e dez, só na sexta. Nenhum limite foi cruzado e nenhum alerta disparou.

É aí que entra observabilidade: ter registro suficiente para investigar um caso que não estava na lista, sem esperar acontecer de novo.

Os três registros que se completam

Métrica mede quantidade ao longo do tempo. Barata de guardar, boa para tendência.

Log conta o que aconteceu em cada evento. Caro em volume, e é onde a investigação encontra o detalhe.

Rastreamento segue uma requisição por todos os serviços que ela atravessa. É o que falta na maioria dos ambientes, e o que responde “onde exatamente o tempo foi gasto”.

O erro de comprar antes de perguntar

Guardar tudo é caro e enterra o sinal. Guardar o que importa exige saber quais perguntas a operação faz quando algo dá errado.

A lista sai de um exercício simples: pegue os últimos três incidentes e escreva o que teria encurtado a investigação de cada um. Essa lista define o que instrumentar, e costuma ser menor que o pacote que o fornecedor oferece.

O teste final

Quanto tempo leva, hoje, para responder por que caiu? Se a resposta depende de reproduzir o problema, o que falta não é alerta.

Agende um diagnóstico ou veja a frente de observabilidade.