Calibração: quando o modelo diz 90%, ele acerta 90%? O conceito que decide o que dá para automatizar no atendimento
Acurácia diz quanto o modelo acerta na média. Calibração diz se você pode confiar na confiança dele, e é ela que permite automatizar com segurança. Veja como medir numa planilha e como escolher o limite de automação.
· 5 min de leitura · Equipe Logo17
Quem coloca IA para tabular atendimentos, identificar o motivo do contato no WhatsApp ou sinalizar risco de cancelamento logo recebe uma pergunta do diretor: “dá para deixar a máquina decidir sozinha?”. A resposta honesta é “em parte”. E a parte que dá para automatizar não depende só de quanto o modelo acerta. Depende de algo que quase nenhum fornecedor mostra: se a confiança que o modelo declara corresponde à realidade. Isso tem nome: calibração.
O que é calibração, sem matemática
Modelos de decisão, como os que comentamos aqui, não devolvem só uma resposta. Devolvem a resposta e uma probabilidade: “Segunda via de boleto, 92%”.
Um modelo é bem calibrado quando esse número é honesto. Se você juntar todas as vezes em que ele disse “cerca de 90%”, ele deve ter acertado cerca de 90% delas. Quando disse “60%”, deve ter acertado mais ou menos 60%.
Um modelo mal calibrado é otimista (diz 95% e acerta 75%) ou tímido (diz 60% e acerta quase sempre).
Acurácia e calibração não são a mesma coisa
- Acurácia responde: de cada 100 decisões, quantas estão certas?
- Calibração responde: quando o modelo diz que tem certeza, eu posso acreditar?
Dois modelos podem ter os mesmos 85% de acurácia e ser muito diferentes na prática. O primeiro diz 99% nos casos fáceis e 55% nos difíceis: você sabe onde ele erra. O segundo diz 90% em tudo: os erros ficam escondidos no meio dos acertos, e você só descobre na monitoria, ou na reclamação do cliente.
Por que calibração é o que permite automatizar
Na prática, ninguém automatiza 100% de uma decisão. O desenho que funciona é a cascata:
- O modelo de decisão responde todos os contatos.
- Acima de um limite de confiança, a decisão é aplicada sozinha.
- Abaixo do limite, o caso vai para uma segunda etapa: um LLM maior, que custa mais e demora mais, ou uma pessoa.
Explicamos quando faz sentido usar cada etapa em System One ou LLM: quando usar cada um. O ponto aqui é simples: a cascata só é segura se a confiança for confiável. Com um modelo mal calibrado, o limite de “90%” deixa passar muito mais erro do que você imagina.
Como medir na prática, com uma planilha
A primeira medição não exige cientista de dados.
- Monte uma amostra rotulada. Algumas centenas de atendimentos reais, com a resposta certa conferida por pessoas (a monitoria de qualidade costuma ter isso).
- Rode o modelo e registre, para cada caso, a resposta e a confiança.
- Marque acerto ou erro em uma coluna (1 ou 0).
- Separe em faixas de confiança: 50–60%, 60–70%, 70–80%, 80–90%, 90–100%.
- Para cada faixa, calcule quantos casos caíram nela, a confiança média e a taxa de acerto real.
O resultado é algo assim (exemplo hipotético, números inventados só para ilustrar):
| Faixa | Respostas | Confiança média | Acerto real |
|---|---|---|---|
| 50–60% | 60 | 55% | 52% |
| 60–70% | 80 | 65% | 58% |
| 70–80% | 120 | 75% | 70% |
| 80–90% | 240 | 85% | 81% |
| 90–100% | 500 | 95% | 93% |
Se as duas últimas colunas andam juntas, o modelo está calibrado. Se o acerto real fica bem abaixo da confiança, ele é otimista demais, e o limite de automação precisa subir.
ECE em uma frase: o Expected Calibration Error é a diferença média entre confiança e acerto real, ponderada pelo número de casos em cada faixa. No exemplo, dá cerca de 3 pontos percentuais. Quanto menor, melhor.
Quando a calibração está ruim, existem técnicas de ajuste que corrigem a escala das probabilidades sem retreinar o modelo, como o temperature scaling. Elas usam justamente uma amostra rotulada como essa.
Como escolher o limite: cobertura × erro
Com a mesma planilha, você monta a segunda tabela, que é a que importa para o gestor. Para cada limite possível, calcule quanto do volume fica automatizado (cobertura) e quanto erro entra junto. Continuando o exemplo hipotético:
| Limite | Cobertura (automático) | Erro nos automáticos |
|---|---|---|
| ≥ 90% | 50% | ~7% |
| ≥ 80% | 74% | ~11% |
| ≥ 70% | 86% | ~14% |
Não existe limite certo em abstrato. Existe o limite que cabe no custo do erro de cada decisão. Errar a tabulação de um contato informativo custa pouco; errar a classificação de um pedido de cancelamento pode custar o cliente. Muitas operações usam limites diferentes por pergunta, ou por opção de resposta.
Cuidados
- Calibração muda quando o texto muda. Um modelo calibrado em e-mails pode ficar otimista em mensagens curtas de WhatsApp, com gíria e abreviação. Meça em cada canal.
- Revise periodicamente. Campanha nova, mudança de produto ou nova lista de tabulações alteram o tipo de contato. Refaça a planilha a cada trimestre, ou sempre que algo grande mudar.
- Amostra pequena engana. Faixa com 15 casos não diz muita coisa. Junte faixas ou aumente a amostra.
- Desconfie de fornecedor que só mostra acurácia. Peça a tabela por faixa de confiança, nos seus dados. Se ele não souber fazer, já é uma resposta.
O L17 Decide devolve a probabilidade de cada opção justamente para que você possa fazer esse teste e definir os seus limites.
Checklist para começar
- Escolha uma decisão de alto volume (motivo do contato, tabulação, sim/não de cancelamento).
- Separe de 300 a 500 casos reais, rotulados pela monitoria.
- Rode o modelo e monte a tabela por faixas de confiança.
- Calcule cobertura e erro para três ou quatro limites.
- Defina o limite com a área dona do custo do erro, não só com a TI.
- Mande o que ficar abaixo do limite para LLM ou pessoa, e acompanhe.
- Repita a medição por canal e a cada trimestre.
Se quiser um roteiro mais amplo, o checklist de IA no atendimento ajuda a organizar o projeto.
Acurácia mostra se o modelo é bom. Calibração mostra quando você pode deixá-lo decidir sozinho.
Consultoria Logo17
Quer um modelo treinado para a sua operação?
Em 30 minutos mapeamos onde a IA decide sozinha e onde precisa de gente. Sem compromisso.
Newsletter
Receba os próximos conteúdos
Artigos e materiais sobre IA no atendimento, no máximo duas vezes por mês. Sem spam; você cancela quando quiser.