Calibração: quando o modelo diz 90%, ele acerta 90%? O conceito que decide o que dá para automatizar no atendimento

Acurácia diz quanto o modelo acerta na média. Calibração diz se você pode confiar na confiança dele, e é ela que permite automatizar com segurança. Veja como medir numa planilha e como escolher o limite de automação.

· 5 min de leitura · Equipe Logo17

Quem coloca IA para tabular atendimentos, identificar o motivo do contato no WhatsApp ou sinalizar risco de cancelamento logo recebe uma pergunta do diretor: “dá para deixar a máquina decidir sozinha?”. A resposta honesta é “em parte”. E a parte que dá para automatizar não depende só de quanto o modelo acerta. Depende de algo que quase nenhum fornecedor mostra: se a confiança que o modelo declara corresponde à realidade. Isso tem nome: calibração.

O que é calibração, sem matemática

Modelos de decisão, como os que comentamos aqui, não devolvem só uma resposta. Devolvem a resposta e uma probabilidade: “Segunda via de boleto, 92%”.

Um modelo é bem calibrado quando esse número é honesto. Se você juntar todas as vezes em que ele disse “cerca de 90%”, ele deve ter acertado cerca de 90% delas. Quando disse “60%”, deve ter acertado mais ou menos 60%.

Um modelo mal calibrado é otimista (diz 95% e acerta 75%) ou tímido (diz 60% e acerta quase sempre).

Acurácia e calibração não são a mesma coisa

  • Acurácia responde: de cada 100 decisões, quantas estão certas?
  • Calibração responde: quando o modelo diz que tem certeza, eu posso acreditar?

Dois modelos podem ter os mesmos 85% de acurácia e ser muito diferentes na prática. O primeiro diz 99% nos casos fáceis e 55% nos difíceis: você sabe onde ele erra. O segundo diz 90% em tudo: os erros ficam escondidos no meio dos acertos, e você só descobre na monitoria, ou na reclamação do cliente.

Por que calibração é o que permite automatizar

Na prática, ninguém automatiza 100% de uma decisão. O desenho que funciona é a cascata:

  1. O modelo de decisão responde todos os contatos.
  2. Acima de um limite de confiança, a decisão é aplicada sozinha.
  3. Abaixo do limite, o caso vai para uma segunda etapa: um LLM maior, que custa mais e demora mais, ou uma pessoa.

Explicamos quando faz sentido usar cada etapa em System One ou LLM: quando usar cada um. O ponto aqui é simples: a cascata só é segura se a confiança for confiável. Com um modelo mal calibrado, o limite de “90%” deixa passar muito mais erro do que você imagina.

Como medir na prática, com uma planilha

A primeira medição não exige cientista de dados.

  1. Monte uma amostra rotulada. Algumas centenas de atendimentos reais, com a resposta certa conferida por pessoas (a monitoria de qualidade costuma ter isso).
  2. Rode o modelo e registre, para cada caso, a resposta e a confiança.
  3. Marque acerto ou erro em uma coluna (1 ou 0).
  4. Separe em faixas de confiança: 50–60%, 60–70%, 70–80%, 80–90%, 90–100%.
  5. Para cada faixa, calcule quantos casos caíram nela, a confiança média e a taxa de acerto real.

O resultado é algo assim (exemplo hipotético, números inventados só para ilustrar):

Faixa Respostas Confiança média Acerto real
50–60% 60 55% 52%
60–70% 80 65% 58%
70–80% 120 75% 70%
80–90% 240 85% 81%
90–100% 500 95% 93%

Se as duas últimas colunas andam juntas, o modelo está calibrado. Se o acerto real fica bem abaixo da confiança, ele é otimista demais, e o limite de automação precisa subir.

ECE em uma frase: o Expected Calibration Error é a diferença média entre confiança e acerto real, ponderada pelo número de casos em cada faixa. No exemplo, dá cerca de 3 pontos percentuais. Quanto menor, melhor.

Quando a calibração está ruim, existem técnicas de ajuste que corrigem a escala das probabilidades sem retreinar o modelo, como o temperature scaling. Elas usam justamente uma amostra rotulada como essa.

Como escolher o limite: cobertura × erro

Com a mesma planilha, você monta a segunda tabela, que é a que importa para o gestor. Para cada limite possível, calcule quanto do volume fica automatizado (cobertura) e quanto erro entra junto. Continuando o exemplo hipotético:

Limite Cobertura (automático) Erro nos automáticos
≥ 90% 50% ~7%
≥ 80% 74% ~11%
≥ 70% 86% ~14%

Não existe limite certo em abstrato. Existe o limite que cabe no custo do erro de cada decisão. Errar a tabulação de um contato informativo custa pouco; errar a classificação de um pedido de cancelamento pode custar o cliente. Muitas operações usam limites diferentes por pergunta, ou por opção de resposta.

Cuidados

  • Calibração muda quando o texto muda. Um modelo calibrado em e-mails pode ficar otimista em mensagens curtas de WhatsApp, com gíria e abreviação. Meça em cada canal.
  • Revise periodicamente. Campanha nova, mudança de produto ou nova lista de tabulações alteram o tipo de contato. Refaça a planilha a cada trimestre, ou sempre que algo grande mudar.
  • Amostra pequena engana. Faixa com 15 casos não diz muita coisa. Junte faixas ou aumente a amostra.
  • Desconfie de fornecedor que só mostra acurácia. Peça a tabela por faixa de confiança, nos seus dados. Se ele não souber fazer, já é uma resposta.

O L17 Decide devolve a probabilidade de cada opção justamente para que você possa fazer esse teste e definir os seus limites.

Checklist para começar

  1. Escolha uma decisão de alto volume (motivo do contato, tabulação, sim/não de cancelamento).
  2. Separe de 300 a 500 casos reais, rotulados pela monitoria.
  3. Rode o modelo e monte a tabela por faixas de confiança.
  4. Calcule cobertura e erro para três ou quatro limites.
  5. Defina o limite com a área dona do custo do erro, não só com a TI.
  6. Mande o que ficar abaixo do limite para LLM ou pessoa, e acompanhe.
  7. Repita a medição por canal e a cada trimestre.

Se quiser um roteiro mais amplo, o checklist de IA no atendimento ajuda a organizar o projeto.

Acurácia mostra se o modelo é bom. Calibração mostra quando você pode deixá-lo decidir sozinho.

calibração modelos de decisão automação cascata tabulação qualidade L17 Decide

Consultoria Logo17

Quer um modelo treinado para a sua operação?

Em 30 minutos mapeamos onde a IA decide sozinha e onde precisa de gente. Sem compromisso.

Diagnóstico gratuito

Newsletter

Receba os próximos conteúdos

Artigos e materiais sobre IA no atendimento, no máximo duas vezes por mês. Sem spam; você cancela quando quiser.

Continue lendo