Meta usa LLMs para identificar causas de incidentes com 42% de precisão

Esse avanço significa que, em quase metade dos casos, o tempo médio de resolução pode ser reduzido de horas para segundos, um ganho significativo em eficiência.

A empresa realiza milhares de alterações em seu código diariamente, quase todas dentro de um único monorepositório, o que torna a investigação de falhas um grande desafio. Para otimizar esse processo, a Meta implementou LLMs para acelerar e aprimorar a análise de causas raízes, destacando as causas mais prováveis logo no início da investigação. A complexidade do monorepositório é gerenciada por uma combinação de métodos heurísticos de recuperação, que selecionam subconjuntos de mudanças de código com base em critérios como propriedade de código, estrutura de diretórios e gráficos de execução, e um ranqueamento baseado em LLMs.

O sistema foi integrado aos processos existentes de gerenciamento de incidentes da Meta. Embora os desenvolvedores continuem investigando como faziam anteriormente, agora recebem sugestões automáticas de causas prováveis, ranqueadas em tempo real. Isso permite que se concentrem nas mudanças de código mais relevantes, sem perder tempo examinando milhares de possibilidades.

A ferramenta utiliza o modelo Llama 2 7B, treinado com dados de investigações históricas de incidentes, permitindo que o modelo aprenda com cenários onde as causas já eram conhecidas. A iniciativa da Meta sugere que o futuro da resposta a incidentes pode envolver agentes baseados em LLMs, capazes de reunir informações de diversas fontes, executar etapas do processo, como seguir manuais operacionais, medir impactos e gerar relatórios pós-incidentes, além de melhorar continuamente a precisão das análises.

Embora 42% possa parecer uma taxa de precisão baixa, esse número é impressionante considerando a enorme escala de mudanças nos sistemas da Meta, uma vez que significa que, em quase metade das vezes, os desenvolvedores recebem a causa raiz diretamente, acelerando drasticamente o processo de investigação.