Monitoria de 100% dos atendimentos: como escrever as perguntas que um modelo de decisão consegue responder

Monitorar uma pequena amostra deixa passar o que importa. Veja como transformar o formulário de monitoria em perguntas de sim/não, escolha e nota que um modelo de decisão responde em todos os atendimentos, e como validar o resultado antes de confiar.

· 6 min de leitura · Equipe Logo17

Em quase toda operação de atendimento, a monitoria de qualidade funciona do mesmo jeito: um analista pega algumas conversas por agente no mês, abre o formulário e dá a nota. O resto, a imensa maioria das interações, ninguém olha. É com essa pequena fatia que se decide feedback, treinamento e bônus, e é dela que sai o número de qualidade que vai para a diretoria.

Com modelos de decisão, monitorar todas as interações deixou de ser um sonho de orçamento. Mas o modelo só responde bem a perguntas bem escritas. Veja como transformar o formulário em perguntas que um modelo responde, e como saber se dá para confiar.

Por que a amostragem deixa passar problemas

  • Problemas raros e graves somem. Um agente que promete um estorno inexistente pode fazer isso poucas vezes no mês. A chance de uma dessas conversas cair na amostra é baixa.
  • A nota do agente vira loteria. Com poucas conversas avaliadas, uma conversa ruim derruba a média. O agente percebe, e a monitoria perde credibilidade.
  • A amostra raramente é aleatória. Na prática, entram as conversas curtas ou as que chegaram por reclamação.
  • A resposta chega tarde. Quando o problema aparece na monitoria do mês, ele já pode ter se repetido muitas vezes.

Monitorar 100% não substitui o analista; muda o trabalho dele. Em vez de sortear conversas, ele revisa as que o modelo apontou.

Do formulário para perguntas

Um modelo de decisão como o L17 Decide recebe a conversa e perguntas com opções fechadas, e devolve a opção escolhida com a probabilidade de cada uma. Ele não escreve parecer; ele escolhe. Cada item do formulário precisa virar um destes tipos:

  • Sim/não: “O agente confirmou os dados do cliente antes de alterar o cadastro?”
  • Escolha: “Qual o motivo principal do contato?” (com a lista de motivos)
  • Nota/escala: “Nível de cordialidade do agente, de 1 a 5.”

“Postura adequada” ou “seguiu o procedimento” não são perguntas, são títulos: quebre em algo observável.

Como escrever cada critério

Descreva cada opção, não só a pergunta. “Cordialidade de 1 a 5” sozinha vira opinião. Escreva o que é cada nota: “1: ríspido, ironiza ou ignora o cliente; 3: educado, mas mecânico; 5: educado, chama pelo nome, reconhece o problema antes de resolver”. A mesma descrição serve para calibrar os analistas.

Uma coisa por pergunta. “O agente cumprimentou e se identificou?” são duas perguntas. Se ele cumprimentou e não se identificou, qualquer resposta está errada.

Só pergunte o que está no texto. “O agente consultou o sistema?” depende de algo fora da conversa; o modelo vai chutar. Reescreva para o que aparece: “O agente informou status, prazo ou código de rastreio do pedido?”

Evite palavras vagas. “Rapidamente”, “adequado” e “corretamente” mudam de sentido de pessoa para pessoa. Troque por um critério observável.

Inclua “não se aplica”. Se o cliente só quis saber o horário da loja, “o agente ofereceu alternativa antes de aceitar o cancelamento?” não tem resposta. Sem essa opção, o modelo é forçado a escolher sim ou não, e o indicador fica contaminado.

Use a probabilidade, não só a resposta

A diferença entre um modelo de decisão e uma regra fixa é que ele diz o quanto tem certeza. Use isso para montar a fila do analista:

  • Confiança alta e resposta “ok”: entra no indicador, sem revisão.
  • Confiança alta e resposta “falha” em item crítico: vai para o supervisor, com prioridade.
  • Confiança baixa em qualquer item: vai para revisão humana.

Defina o limite por pergunta: um item crítico (dado pessoal, promessa indevida) merece limite mais rigoroso que a nota de cordialidade. E se uma pergunta vive na zona de dúvida, desconfie primeiro da redação.

Como validar antes de confiar

Antes de usar a monitoria automática para feedback, compare com gente:

  1. Peça para dois analistas monitorarem a mesma amostra de conversas, de forma independente.
  2. Meça a concordância entre eles em cada pergunta. Onde discordam entre si, a pergunta está ambígua; reescreva antes de cobrar do modelo.
  3. Rode o modelo na mesma amostra e meça a concordância com os analistas, pergunta por pergunta.
  4. Olhe a calibração: quando o modelo diz ter alta confiança, ele acerta na mesma proporção?
  5. Repita quando mudar o formulário, o produto ou o canal.

Começar pela decisão (classificar, monitorar) antes de automatizar a resposta ao cliente foi o caminho do caso da Riachuelo.

Exemplo: monitoria de WhatsApp em e-commerce

Oito perguntas bem escritas para começar:

  1. O agente se apresentou pelo nome na primeira resposta? Sim / Não.
  2. O agente confirmou a identidade do cliente (número do pedido, e-mail ou CPF) antes de passar informação do pedido? Sim / Não / Não se aplica (conversa sem consulta de pedido).
  3. Qual o motivo principal do contato? Atraso na entrega / Troca ou devolução / Pagamento ou estorno / Produto com defeito / Dúvida antes da compra / Outro, cada uma com uma frase de critério, como numa lista de tabulações.
  4. O agente informou um prazo ou próximo passo concreto? Sim, com data ou prazo / Sim, sem prazo / Não / Não se aplica.
  5. O agente prometeu algo fora da política (estorno imediato, frete grátis, brinde) sem indicar aprovação? Sim / Não.
  6. O agente pediu ao cliente dados de cartão ou senha pela conversa? Sim / Não.
  7. Nível de cordialidade do agente, de 1 a 5, com a descrição de cada nota.
  8. No fim da conversa, o problema do cliente ficou: Resolvido na conversa / Encaminhado com protocolo / Sem solução nem encaminhamento / Cliente abandonou.

As perguntas 5 e 6 são as que a amostragem quase nunca pega, e as que mais importam.

Checklist para começar

  • [ ] Liste os itens do formulário atual e marque os que não são observáveis no texto.
  • [ ] Reescreva cada item como sim/não, escolha ou nota, com descrição de cada opção.
  • [ ] Separe perguntas compostas e acrescente “não se aplica” onde couber.
  • [ ] Defina um limite de confiança para cada item crítico.
  • [ ] Valide com uma amostra monitorada por pessoas e meça a concordância.
  • [ ] Monte a fila de revisão com baixa confiança e falhas críticas.

A monitoria de 100% não começa no modelo: começa num formulário que duas pessoas leem do mesmo jeito.

monitoria de qualidade qualidade do atendimento modelos de decisão WhatsApp contact center L17 Decide

Consultoria Logo17

Quer um modelo treinado para a sua operação?

Em 30 minutos mapeamos onde a IA decide sozinha e onde precisa de gente. Sem compromisso.

Diagnóstico gratuito

Newsletter

Receba os próximos conteúdos

Artigos e materiais sobre IA no atendimento, no máximo duas vezes por mês. Sem spam; você cancela quando quiser.

Continue lendo