O llama.cpp agora roda modelos de decisão: ótimo para testar, e o que falta para levar à produção

O llama-server ganhou um endpoint nativo, /v1/systemone, para modelos que respondem com uma opção e a probabilidade de cada uma. Explicamos por que isso é um ótimo laboratório para testar com as suas conversas e o que ainda separa um teste de uma operação em produção: idioma, calibração, licença, monitoramento e disponibilidade.

· 7 min de leitura · Equipe Logo17

Classificar o motivo do contato, decidir se a conversa do WhatsApp vai para o humano, tabular, dar nota de monitoria: tudo isso exige ler o que o cliente escreveu. E o que o cliente escreve tem nome, CPF, endereço, número de pedido. Até agora, quem queria usar um modelo de decisão quase sempre mandava esse texto para uma API de terceiros. Desde ontem, dá para experimentar isso no seu próprio computador, com uma ferramenta gratuita e muito usada: o llama.cpp. É um ótimo laboratório. Produção é outra conversa, e vale entender a diferença.

O que aconteceu

Em 2 de outubro, o projeto llama.cpp mesclou o PR #29818, que adiciona ao llama-server um endpoint nativo chamado /v1/systemone. Ele foi feito para modelos de decisão: modelos que não escrevem texto, e sim escolhem entre opções que você define.

O formato é o mesmo que a TypeSafe popularizou com o Jev, e que descrevemos aqui. Você manda:

  • um estado: o texto a ser avaliado (pode ser a conversa inteira);
  • uma lista de perguntas tipadas, cada uma com instruções e opções.

E recebe, para cada pergunta, a resposta com a probabilidade de cada opção. São três tipos de pergunta:

  • choice: escolha entre opções (ex.: motivo do contato). Devolve a opção mais provável, a probabilidade de cada uma e um índice de confiança.
  • score: nota numa escala de 2 a 10 níveis (ex.: urgência de 1 a 5). Devolve o nível esperado, que pode cair entre dois níveis.
  • noul: sim ou não (ex.: “o cliente fala em cancelar?”). Devolve a probabilidade de “sim”.

Segundo o anúncio no blog do Hugging Face, como a API segue o formato do Jev, um cliente que já existe só precisa trocar o endereço base.

Quais modelos funcionam

O anúncio lista seis modelos, com arquivos GGUF já convertidos:

Modelo Tamanho Idiomas Licença
Julia-1 144 milhões 50+ Apache 2.0
Laya 421 milhões inglês Apache 2.0
Kev-4B 4 bilhões inglês Apache 2.0
lev 4 bilhões inglês Apache 2.0
OpenJev 27 bilhões inglês, alemão, francês, híndi, chinês, japonês CC BY-NC 4.0
Clef 27 bilhões inglês Apache 2.0

As velocidades declaradas vão de 3 ms (Julia-1) a 43 ms (OpenJev) por pergunta, numa única placa NVIDIA RTX PRO 6000. São números do anúncio, sem medição nossa.

Por que é um bom laboratório

Dá para testar com conversas reais sem o dado sair de casa. Transcrição de atendimento é dado pessoal, e mandá-la para uma API no exterior só para um teste é uma decisão de LGPD que muita empresa prefere não tomar. Rodando o modelo na sua máquina, você avalia a ideia com as suas conversas antes de qualquer contrato.

Experimentar não custa nada. Os modelos com licença Apache 2.0 são gratuitos, e uma placa de vídeo comum basta para um teste. Só não confunda o custo do teste com o custo da produção: em produção entram servidor ligado 24 horas, redundância, monitoramento e gente para operar e atualizar, uma conta que não aparece na comparação com o preço por token (fizemos a conta do lado da tarifa neste post).

O formato virou padrão. Na semana passada, OpenAI, AWS e Cloudflare lançaram seus modelos de decisão, e o Clef da Cloudflare já implementa a mesma API do Jev. Agora a ferramenta de código aberto mais usada para rodar modelos localmente adota o mesmo contrato: estado, perguntas, opções, probabilidades. Quem desenha a operação nesse formato troca de modelo, ou de fornecedor, sem reescrever o sistema.

Do teste à produção: o que o laboratório não mostra

Nem todo modelo funciona. O endpoint só serve para modelos de decisão, os da lista acima e os que vierem depois. Um modelo de chat comum não passa a decidir só porque está no llama-server. E é tudo muito novo: o recurso acabou de entrar no projeto.

Idioma. Repare na tabela: quase todos declaram só inglês. O Julia-1 declara mais de 50 idiomas, mas nenhum dos seis foi apresentado como treinado em atendimento em português. “Vlw”, “cadê meu pedido”, “vcs vão resolver ou não?” não são o tipo de texto em que esses modelos foram medidos. Teste antes com as suas conversas.

Calibração muda por modelo e por tarefa. O próprio anúncio dá um exemplo: um ticket vago (“Oi, dúvida rápida sobre minha conta”) recebeu confiança de 0,25 num modelo e 0,80 em outro. Ou seja, o corte de “confio, pode seguir” não é universal: precisa ser escolhido com exemplos seus. O anúncio também mostra que descrever bem as opções muda o resultado: com rótulos secos, uma reclamação de cobrança foi parar em “entrega”; com descrições, foi para cobrança. É a mesma lição de uma boa lista de tabulações.

Licença. O OpenJev, o maior da lista e um dos poucos com suporte a imagem, usa CC BY-NC 4.0: não comercial. Uma operação de atendimento é uso comercial. Confira a licença de cada modelo antes de colocar em produção; “está no Hugging Face” não quer dizer “pode usar na empresa”.

Produção exige operação. Um modelo que acerta no teste precisa continuar acertando: o jeito de o cliente escrever muda, chegam campanhas e produtos novos, e o acerto cai sem ninguém perceber se não houver medição contínua. Também é preciso manter o serviço no ar 24 horas (se o servidor para, a tabulação para), atualizar o modelo sem quebrar a integração, registrar quem acessa o quê para a LGPD e ter a quem recorrer quando ele errar num caso importante.

Front-ends ainda vão chegar. O suporte está no llama-server. Programas que embutem o llama.cpp, como o LM Studio, dependem de atualizar a versão que trazem dentro; até lá, o caminho é usar o llama-server diretamente.

Onde a Logo17 entra

Para levar a decisão à produção sem montar essa estrutura, o L17 Decide responde perguntas de escolha, nota e sim/não sobre textos em português, com a probabilidade de cada opção, no mesmo formato de estado e perguntas. A cobrança é em créditos (1 crédito = 1 chamada de até 1.000 tokens), a partir de R$ 50 por 100 mil créditos, pré-pago via Pix. Detalhes no portal.

Checklist para testar

  1. Escolha uma decisão que hoje é feita à mão ou não é feita: motivo do contato, risco de cancelamento, transferir ou não.
  2. Escreva as opções com descrição, não só rótulos. Use a nossa lista de tabulações modelo como ponto de partida.
  3. Separe 200 atendimentos já classificados por pessoas, em português real, com gírias e erros de digitação.
  4. Rode em mais de um modelo pelo /v1/systemone e compare acurácia e calibração: quando o modelo diz 90%, acerta 90%?
  5. Defina o corte de confiança por tarefa e mande o resto para revisão humana.
  6. Confira a licença de cada modelo antes de qualquer uso em cliente.
  7. Documente onde o dado roda, para o seu encarregado de LGPD.

Testar localmente deixou de ser projeto de pesquisa, e isso é ótimo: dá para descobrir rápido se a ideia funciona na sua operação. Produção continua exigindo o resto: boas perguntas, calibração no seu português, acompanhamento do acerto e um serviço que não para.

Fontes

Velocidades e características dos modelos são as declaradas pelos autores nas fontes acima, sem replicação independente da Logo17.

llama.cpp modelos de decisão System One LGPD modelos abertos IA local L17 Decide

Consultoria Logo17

Quer um modelo treinado para a sua operação?

Em 30 minutos mapeamos onde a IA decide sozinha e onde precisa de gente. Sem compromisso.

Diagnóstico gratuito

Newsletter

Receba os próximos conteúdos

Artigos e materiais sobre IA no atendimento, no máximo duas vezes por mês. Sem spam; você cancela quando quiser.

Continue lendo