Tirando o melhor modelo

• As suas categorias ganham. O modelo supera o Jev com folga em decisões com as respostas da própria empresa (as suas filas, times, produtos, intenções): BANKING77 0,889 contra 0,797 de macro-F1, um conjunto de atendimento 0,998 contra 0,771. Em perguntas genéricas com pouco dado (o assunto de uma notícia, o tipo de cláusula de um contrato com algumas centenas de exemplos) o Jev já sabe muito e a margem é pequena. Monte a decisão em torno das suas respostas.
• Exemplos por resposta importam mais que o total. Mire em centenas de exemplos rotulados por resposta quando você tiver. Os nossos modelos base são pré-treinados em decisões, o que ajuda mais com pouquíssimos exemplos; com muitos, quem decide são os seus dados.
• A resposta mais fraca define o nível. Um modelo é tão bom quanto a sua pior resposta: uma resposta com poucos exemplos puxa o modelo inteiro para baixo. Junte respostas raras e parecidas, ou junte mais exemplos delas, antes de treinar.
• Respostas que não se sobrepõem, com descrição. A descrição de cada resposta faz parte do que o modelo lê. Escreva de um jeito que uma pessoa nunca hesite entre duas.
• A entrada da produção. Treine com o texto que existe no momento da decisão, nada que só se sabe depois (um campo "resolvido por" quando a pergunta é qual time resolve).
• Rótulos consistentes. Ao rotular os exemplos de teste, o mesmo caso recebe sempre a mesma resposta: o modelo é medido contra essas respostas.

Antes de enviarCopy Anchor Link

Envie uma tabela limpa (CSV ou JSON lines), não a exportação bruta. O seu assistente de IA pode fazer isso por você com as skills:

1. Uma linha por exemplo, com uma coluna de texto com tudo em que a decisão se baseia (assunto e corpo, ou os campos que uma pessoa leria) e nada mais.
2. Uma grafia por resposta: Billing, billing e Faturamento são uma resposta só. Deixe de fora linhas vazias.
3. Respostas raras resolvidas agora: juntas com a resposta mais próxima, ou com mais exemplos.
4. Sem vazamentos: colunas ou texto que só existem depois da decisão.
5. Sem duplicados exatos, e nenhum exemplo com mais de uns 30.000 caracteres (eles são recusados, nunca cortados).
6. Um objetivo preciso: a pergunta e uma linha por resposta dizendo quando ela vale. Quanto mais preciso, melhor a primeira proposta.

Conferindo a propostaCopy Anchor Link

Assim que a proposta fica pronta, antes de rotular, passe por ela (a tela de Revisão, typestrict review, ou structure.stats na API) e mande o que mudar como feedback:

1. Exemplos por resposta. Centenas por resposta é onde o modelo fica bom, e uma resposta precisa de pelo menos 5 exemplos de teste para ser medida. Os exemplos de teste são 20% dos seus dados (até 2.000) quando eles vêm com resposta, ou 150 sorteados que você rotula quando não vêm: aí uma resposta com menos de uns 3% dos dados recebe menos de 5. Junte uma resposta rara com a mais próxima, ou adicione exemplos dela.
2. Respostas que se sobrepõem. Leia os exemplos de cada resposta. Se uma pessoa trocaria duas respostas, junte-as ou reescreva as descrições até a fronteira ficar clara. Quando os dados não tinham resposta, pouca concordância entre os pré-rotuladores aponta o mesmo problema.
3. Rótulos que parecem errados. Um exemplo cuja resposta não bate com o texto indica uma coluna de resposta ruidosa: corrija de onde vem a resposta.
4. Todo aviso. Cada um diz o que mudar.
5. Duplicados e vazamentos. O texto tem que ser o que existe no momento da decisão.
6. A pergunta. Decida com as respostas da sua empresa. Modelos grandes já respondem bem perguntas genéricas (assunto, sentimento); as suas filas, times e produtos são o que só os seus dados sabem.

Quando não supera o JevCopy Anchor Link

A comparação diz o porquê (model.jev.superiority.reason): um ganho pequeno demais para ter certeza, ou uma resposta que fica atrás do Jev. Mais exemplos das respostas fracas, ou outro modelo base nos mesmos dados, são as próximas tentativas. Toda versão é medida nos mesmos exemplos separados para teste, então as versões se comparam de forma justa.

Em produçãoCopy Anchor Link

Use a confidence do modelo para decidir o que automatizar e o que mandar para uma pessoa. O resultado mostra exatamente isso, a acurácia nas 80% respostas mais confiantes: comece automatizando acima de um limite e ajuste com o que você vir. Pergunte ao modelo a pergunta e as opções com que ele foi treinado, como estão no decision_ai.json.