Chaos Engineering: como testar a resiliência antes que o incidente real teste

O paradoxo da confiabilidade sem teste

Sistemas que nunca foram testados sob falha têm confiabilidade teórica — não real. Circuit breakers que nunca foram acionados podem não funcionar quando precisam. Runbooks escritos mas nunca exercitados falham no momento crítico. Chaos Engineering testa a confiabilidade real, não a esperada.

O que é Chaos Engineering na prática

Chaos Engineering é a disciplina de experimentar em sistemas distribuídos para descobrir fraquezas antes que se tornem incidentes. Um experimento de chaos tem quatro elementos: definir o estado estacionário normal do sistema (métricas baseline), formular uma hipótese sobre como o sistema se comporta sob determinada condição de falha, introduzir a falha de forma controlada e observar se o sistema mantém o comportamento esperado.

Por onde começar

• Experimentos simples primeiro — matar uma instância de um serviço não-crítico e verificar que o sistema se recupera automaticamente.
• Ambiente de staging antes de produção — validar que o sistema sobrevive ao experimento antes de testar em produção com usuários reais.
• Gamedays — sessões planejadas onde o time executa cenários de falha juntos, em horário comercial, com todos os sistemas de resposta ativos.

Ferramentas: Chaos Monkey, Litmus, Gremlin

Chaos Monkey (Netflix, open source) para matar instâncias aleatoriamente. Litmus para experimentos de chaos em Kubernetes. Gremlin para experimentos mais sofisticados (latência, degradação de CPU, falha de rede) com interface visual e controles de segurança.