System One ou LLM? Um guia prático para decidir onde usar cada um na sua operação

Quando uma empresa decide “colocar IA” num processo, o caminho padrão hoje é chamar um LLM: manda o texto, pede a resposta em JSON, trata os casos em que ele devolve algo fora do formato. Funciona. Mas, para uma parte grande das tarefas, é como usar um caminhão para entregar uma carta.

Os modelos System One, como o Jev, da TypeSafe, e o L17 Decide, fazem outra coisa: recebem um texto e perguntas com opções definidas e devolvem a escolha e a probabilidade de cada opção, numa passada só, sem gerar texto. A pergunta prática é: quando usar cada um?

Cinco perguntas para decidir

1. A resposta cabe numa lista? Motivo do contato, sentimento, prioridade, “menciona concorrente?”, “pede cancelamento?”. Se as respostas possíveis são conhecidas, é tarefa de System One. Se a resposta precisa ser escrita (um resumo, uma resposta ao cliente, um e-mail), é tarefa de LLM.

2. Quantas vezes por dia isso acontece? Uma decisão por semana pode custar o que for. Cem mil por dia muda a conta: um modelo de decisão cobra frações de centavo por chamada, enquanto um LLM grande pode custar dezenas ou centenas de vezes mais pela mesma decisão.

3. Quanto tempo você pode esperar? Rotear uma mensagem enquanto o cliente espera, bloquear uma ação suspeita, escolher a próxima tela: tudo isso pede resposta em milissegundos. Um LLM que raciocina leva segundos.

4. Você precisa saber o quanto o modelo tem certeza? Esse é o ponto mais subestimado. Com a probabilidade de cada opção, dá para definir um limite: acima dele, o sistema decide sozinho; abaixo, manda para uma pessoa. Sem uma medida de confiança confiável, ou você revisa tudo, ou confia em tudo.

5. O erro precisa ser explicável em texto? Se a decisão exige uma justificativa escrita (um parecer, uma análise de crédito com argumentação), o LLM continua sendo a ferramenta certa, ao menos para o caso final.

O desenho que mais funciona: os dois juntos

Na prática, as melhores arquiteturas usam os dois modelos em camadas:

1. System One na frente: classifica, prioriza e filtra todo o volume, em milissegundos e por centavos.
2. Limite de confiança: o que é óbvio segue automático. O que é incerto sobe.
3. LLM ou pessoa para o difícil: só os casos ambíguos, complexos ou que precisam de texto chegam à camada cara, e chegam com as opções mais prováveis já ordenadas.

Alguns exemplos no atendimento:

O último exemplo mostra que um modelo de decisão também serve para vigiar o LLM: antes de enviar uma resposta gerada, pergunte a um modelo rápido se ela responde ao que o cliente pediu e se promete algo fora da política.

Por onde começar

Escolha uma decisão repetida da operação, algo que hoje uma pessoa faz centenas de vezes por dia seguindo critérios que dá para escrever. Escreva as opções com uma frase de descrição cada, rode o modelo em algumas centenas de casos já resolvidos e compare. Em uma tarde você sabe se vale automatizar e qual limite de confiança usar.

O L17 Decide é o nosso modelo de decisão genérico para textos em português, e o L17 Qualifica é a versão pronta para tabulação de atendimentos. Os dois estão em beta, com acesso por convite.