O que é observabilidade de IA e de LLM, e o que medir em aplicações com IA?
Uma aplicação com IA generativa pode estar no ar, rápida e sem erros, e ainda assim responder errado, gastar o triplo do previsto ou ser manipulada por um usuário mal-intencionado. As métricas tradicionais não enxergam esses problemas. A observabilidade de IA estende logs, métricas e traces para o comportamento do modelo.
Por que o monitoramento tradicional não basta
Em software tradicional, a mesma entrada produz a mesma saída, e um erro costuma aparecer como exceção ou código de falha. Modelos de linguagem são probabilísticos: a resposta varia, pode estar errada sem nenhum sinal técnico de erro e depende do prompt, do contexto recuperado e da versão do modelo. Além disso, o custo é variável e proporcional ao consumo de tokens.
O que medir
- Custo e consumo: tokens de entrada e de saída por requisição, por funcionalidade, por cliente e por modelo.
- Latência: tempo até o primeiro token, que define a sensação de resposta em interfaces de conversa, e tempo total.
- Erros e limites: falhas do provedor, limites de requisição atingidos, respostas cortadas por tamanho e novas tentativas.
- Qualidade: avaliação das respostas por amostragem, com revisão humana ou critérios automáticos, e o retorno explícito dos usuários.
- Recuperação de contexto: em aplicações com RAG, quais documentos foram buscados e se eram relevantes.
- Segurança: tentativas de prompt injection, vazamento de dados nas respostas e acionamento de filtros.
Traces de agentes e cadeias de chamadas
Em agentes de IA, uma única pergunta pode gerar várias chamadas ao modelo, consultas a bases de documentos e execuções de ferramentas. O rastreamento distribuído se aplica muito bem aqui: cada etapa vira um span, com o modelo usado, os tokens consumidos, a ferramenta chamada e o resultado. Assim é possível entender por que o agente tomou uma decisão, onde gastou tempo e qual etapa encareceu a resposta.
O OpenTelemetry mantém convenções semânticas específicas para IA generativa, ainda em evolução, que padronizam esses atributos entre ferramentas.
Qualidade: a métrica mais difícil
Não existe um único número que diga se a IA respondeu bem. A prática combina um conjunto de casos de teste com respostas esperadas, executado a cada mudança de prompt ou de modelo; avaliação periódica de amostras reais por pessoas; e critérios automáticos para aspectos específicos, como aderência às fontes, formato e tom. Usar outro modelo como avaliador ajuda a escalar, mas ele também erra e precisa ser calibrado com avaliação humana.
Mudanças de versão do modelo, do prompt ou da base de documentos devem ser registradas, para que uma queda de qualidade possa ser ligada à sua causa.
Privacidade e governança
Prompts e respostas podem conter dados pessoais, informações de clientes e segredos. Registrar tudo, por tempo indeterminado e com acesso amplo, cria um novo repositório de risco. Defina o que é guardado, mascare dados sensíveis, restrinja o acesso e estabeleça prazos de retenção compatíveis com a LGPD e com a política de uso de IA da empresa.
Bem desenhada, a observabilidade também sustenta a governança de IA: mostra quem usa, quanto custa, como a qualidade evolui e quais incidentes ocorreram.
Aplicações com IA exigem medir custo por token, latência, erros, qualidade das respostas, recuperação de contexto e segurança. Traces mostram o caminho de agentes etapa por etapa. Prompts e respostas registrados precisam de mascaramento, acesso restrito e retenção definida.
Este conteúdo foi útil?
Revisão técnica VIPER IT — última atualização em 10 de outubro de 2026.