Monitoria de 100% dos atendimentos: como escrever as perguntas que um modelo de decisão consegue responder
Monitorar uma pequena amostra deixa passar o que importa. Veja como transformar o formulário de monitoria em perguntas de sim/não, escolha e nota que um modelo de decisão responde em todos os atendimentos, e como validar o resultado antes de confiar.
· 6 min de leitura · Equipe Logo17
Em quase toda operação de atendimento, a monitoria de qualidade funciona do mesmo jeito: um analista pega algumas conversas por agente no mês, abre o formulário e dá a nota. O resto, a imensa maioria das interações, ninguém olha. É com essa pequena fatia que se decide feedback, treinamento e bônus, e é dela que sai o número de qualidade que vai para a diretoria.
Com modelos de decisão, monitorar todas as interações deixou de ser um sonho de orçamento. Mas o modelo só responde bem a perguntas bem escritas. Veja como transformar o formulário em perguntas que um modelo responde, e como saber se dá para confiar.
Por que a amostragem deixa passar problemas
- Problemas raros e graves somem. Um agente que promete um estorno inexistente pode fazer isso poucas vezes no mês. A chance de uma dessas conversas cair na amostra é baixa.
- A nota do agente vira loteria. Com poucas conversas avaliadas, uma conversa ruim derruba a média. O agente percebe, e a monitoria perde credibilidade.
- A amostra raramente é aleatória. Na prática, entram as conversas curtas ou as que chegaram por reclamação.
- A resposta chega tarde. Quando o problema aparece na monitoria do mês, ele já pode ter se repetido muitas vezes.
Monitorar 100% não substitui o analista; muda o trabalho dele. Em vez de sortear conversas, ele revisa as que o modelo apontou.
Do formulário para perguntas
Um modelo de decisão como o L17 Decide recebe a conversa e perguntas com opções fechadas, e devolve a opção escolhida com a probabilidade de cada uma. Ele não escreve parecer; ele escolhe. Cada item do formulário precisa virar um destes tipos:
- Sim/não: “O agente confirmou os dados do cliente antes de alterar o cadastro?”
- Escolha: “Qual o motivo principal do contato?” (com a lista de motivos)
- Nota/escala: “Nível de cordialidade do agente, de 1 a 5.”
“Postura adequada” ou “seguiu o procedimento” não são perguntas, são títulos: quebre em algo observável.
Como escrever cada critério
Descreva cada opção, não só a pergunta. “Cordialidade de 1 a 5” sozinha vira opinião. Escreva o que é cada nota: “1: ríspido, ironiza ou ignora o cliente; 3: educado, mas mecânico; 5: educado, chama pelo nome, reconhece o problema antes de resolver”. A mesma descrição serve para calibrar os analistas.
Uma coisa por pergunta. “O agente cumprimentou e se identificou?” são duas perguntas. Se ele cumprimentou e não se identificou, qualquer resposta está errada.
Só pergunte o que está no texto. “O agente consultou o sistema?” depende de algo fora da conversa; o modelo vai chutar. Reescreva para o que aparece: “O agente informou status, prazo ou código de rastreio do pedido?”
Evite palavras vagas. “Rapidamente”, “adequado” e “corretamente” mudam de sentido de pessoa para pessoa. Troque por um critério observável.
Inclua “não se aplica”. Se o cliente só quis saber o horário da loja, “o agente ofereceu alternativa antes de aceitar o cancelamento?” não tem resposta. Sem essa opção, o modelo é forçado a escolher sim ou não, e o indicador fica contaminado.
Use a probabilidade, não só a resposta
A diferença entre um modelo de decisão e uma regra fixa é que ele diz o quanto tem certeza. Use isso para montar a fila do analista:
- Confiança alta e resposta “ok”: entra no indicador, sem revisão.
- Confiança alta e resposta “falha” em item crítico: vai para o supervisor, com prioridade.
- Confiança baixa em qualquer item: vai para revisão humana.
Defina o limite por pergunta: um item crítico (dado pessoal, promessa indevida) merece limite mais rigoroso que a nota de cordialidade. E se uma pergunta vive na zona de dúvida, desconfie primeiro da redação.
Como validar antes de confiar
Antes de usar a monitoria automática para feedback, compare com gente:
- Peça para dois analistas monitorarem a mesma amostra de conversas, de forma independente.
- Meça a concordância entre eles em cada pergunta. Onde discordam entre si, a pergunta está ambígua; reescreva antes de cobrar do modelo.
- Rode o modelo na mesma amostra e meça a concordância com os analistas, pergunta por pergunta.
- Olhe a calibração: quando o modelo diz ter alta confiança, ele acerta na mesma proporção?
- Repita quando mudar o formulário, o produto ou o canal.
Começar pela decisão (classificar, monitorar) antes de automatizar a resposta ao cliente foi o caminho do caso da Riachuelo.
Exemplo: monitoria de WhatsApp em e-commerce
Oito perguntas bem escritas para começar:
- O agente se apresentou pelo nome na primeira resposta? Sim / Não.
- O agente confirmou a identidade do cliente (número do pedido, e-mail ou CPF) antes de passar informação do pedido? Sim / Não / Não se aplica (conversa sem consulta de pedido).
- Qual o motivo principal do contato? Atraso na entrega / Troca ou devolução / Pagamento ou estorno / Produto com defeito / Dúvida antes da compra / Outro, cada uma com uma frase de critério, como numa lista de tabulações.
- O agente informou um prazo ou próximo passo concreto? Sim, com data ou prazo / Sim, sem prazo / Não / Não se aplica.
- O agente prometeu algo fora da política (estorno imediato, frete grátis, brinde) sem indicar aprovação? Sim / Não.
- O agente pediu ao cliente dados de cartão ou senha pela conversa? Sim / Não.
- Nível de cordialidade do agente, de 1 a 5, com a descrição de cada nota.
- No fim da conversa, o problema do cliente ficou: Resolvido na conversa / Encaminhado com protocolo / Sem solução nem encaminhamento / Cliente abandonou.
As perguntas 5 e 6 são as que a amostragem quase nunca pega, e as que mais importam.
Checklist para começar
- [ ] Liste os itens do formulário atual e marque os que não são observáveis no texto.
- [ ] Reescreva cada item como sim/não, escolha ou nota, com descrição de cada opção.
- [ ] Separe perguntas compostas e acrescente “não se aplica” onde couber.
- [ ] Defina um limite de confiança para cada item crítico.
- [ ] Valide com uma amostra monitorada por pessoas e meça a concordância.
- [ ] Monte a fila de revisão com baixa confiança e falhas críticas.
A monitoria de 100% não começa no modelo: começa num formulário que duas pessoas leem do mesmo jeito.
Consultoria Logo17
Quer um modelo treinado para a sua operação?
Em 30 minutos mapeamos onde a IA decide sozinha e onde precisa de gente. Sem compromisso.
Newsletter
Receba os próximos conteúdos
Artigos e materiais sobre IA no atendimento, no máximo duas vezes por mês. Sem spam; você cancela quando quiser.