Glossário

Acurácia. A proporção de respostas certas. Simples, mas esconde as respostas raras: um modelo que sempre responde a mais comum pode tirar uma nota alta.

Anonimização (mascaramento). Trocar os dados pessoais dos seus arquivos (nomes, e-mails, telefones, documentos, números de cartão) por marcadores como [EMAIL], antes que qualquer outra coisa os leia.

Chave de API. Um segredo que deixa o seu código chamar a API como a sua conta. As nossas começam com ts_.

Modelo base (encoder). O modelo de onde o seu modelo parte. Ele já lê linguagem; o treino ensina a sua decisão a ele. Veja Modelos base.

Bootstrap. Medir de novo em muitas reamostragens dos mesmos exemplos de teste, para ver quanto um resultado poderia variar por acaso. O cálculo de reembolso usa 2.000 delas.

Brier score e Brier skill. O quanto as probabilidades estão longe do que aconteceu. O Brier skill transforma isso numa nota de 0 a 1 em que maior é melhor: um modelo que diz 90% e acerta pontua mais que um que diz 51% e acerta.

Calibração. Se "80% de certeza" acerta cerca de 80% das vezes. Num modelo calibrado, dá para confiar na confiança para decidir o que automatizar.

Confiança. O quanto o modelo tem certeza da resposta que escolheu, de 0 a 1.

Contexto. Quanto texto cabe num exemplo, em tokens (pedaços de palavras). Depende do modelo base.

Crédito. O que um treino custa. Ele volta se o modelo não superar o Jev ou se o treino falhar.

API de decisão. Uma API que responde perguntas sobre um texto com um resultado tipado em vez de texto livre: um choice entre opções, um noul (verdadeiro ou falso, como probabilidade) ou um score numa escala, cada um com probabilidades. A API do Jev, que o container do seu modelo também fala, é uma delas.

Encoder. Um modelo que lê um texto e o representa, sem escrever texto. Pequeno, rápido e barato de rodar numa CPU, por isso serve para decisões.

Exemplos separados (de teste). Exemplos separados antes do treino e nunca vistos pelo modelo, para que a medida seja honesta.

Jev. O modelo de referência do mercado para decisões, um modelo geral grande. Comparamos todo modelo contra ele nos seus próprios exemplos.

Macro-F1. O F1 (um equilíbrio entre precisão e revocação) de cada resposta, com média em que todas as respostas pesam igual. Respostas raras contam tanto quanto as comuns.

Modelo multitarefa. Um modelo que toma várias decisões sobre a mesma entrada. Medido por tarefa contra o seu modelo base.

ONNX. Um formato aberto de arquivo para modelos. Roda em CPUs em qualquer linguagem pelo ONNX Runtime, em servidores, navegadores e celulares.

Quantização (8 bits). Guardar os números do modelo com menos bits. Menor e mais rápido, com perda mínima.

Acurácia seletiva. Acurácia só nas respostas mais confiantes (80% delas na garantia): o que você obtém ao automatizar essas e mandar o resto para uma pessoa.

Agente de estruturação. A nossa agente que lê os seus dados mascarados e os transforma em exemplos de treino para a decisão que você quer.

F1 da pior classe. O F1 da resposta que o modelo trata pior. Impede que uma média esconda uma resposta que desabou.