Glosario

Exactitud (accuracy). La proporción de respuestas correctas. Simple, pero esconde las respuestas raras: un modelo que siempre da la respuesta más común puede sacar una nota alta.

Anonimización (enmascaramiento). Reemplazar los datos personales de tus archivos (nombres, correos, teléfonos, documentos, números de tarjeta) por marcadores como [EMAIL], antes de que cualquier otra cosa los lea.

Clave de API. Un secreto que permite que tu código llame a la API como tu cuenta. Las nuestras empiezan con ts_.

Modelo base (encoder). El modelo del que parte tu modelo. Ya lee lenguaje; el entrenamiento le enseña tu decisión. Ver Modelos base.

Bootstrap. Medir de nuevo sobre muchos remuestreos de los mismos ejemplos de prueba, para ver cuánto podría moverse un resultado por azar. El cálculo de reembolso usa 2,000.

Brier score y Brier skill. Qué tan lejos están las probabilidades de lo que pasó. Brier skill lo convierte en una puntuación de 0 a 1 donde más alto es mejor: un modelo que dice 90% y acierta suma más que uno que dice 51% y acierta.

Calibración. Si "80% seguro" acierta cerca del 80% de las veces. En un modelo calibrado se puede confiar en la confianza para decidir qué automatizar.

Confianza. Qué tan seguro está el modelo de la respuesta que eligió, de 0 a 1.

Contexto. Cuánto texto cabe en un ejemplo, en tokens (pedazos de palabras). Depende del modelo base.

Crédito. Lo que cuesta un entrenamiento. Vuelve si el modelo no supera a Jev o si el entrenamiento falla.

API de decisión. Una API que responde preguntas sobre un texto con un resultado tipado en lugar de texto libre: una choice entre opciones, un noul (verdadero o falso, como probabilidad) o un score en una escala, cada uno con probabilidades. La API de Jev, que también habla el contenedor de tu modelo, es una de ellas.

Encoder. Un modelo que lee un texto y lo representa, sin escribir texto. Pequeño, rápido y barato de correr en una CPU, por eso sirve para decisiones.

Ejemplos reservados (de prueba). Ejemplos apartados antes del entrenamiento que el modelo nunca ve, para que la medición sea honesta.

Jev. El modelo de referencia del mercado para decisiones, un modelo general grande. Comparamos cada modelo contra él con tus propios ejemplos.

Macro-F1. El F1 (un equilibrio entre precisión y exhaustividad) de cada respuesta, promediado con todas las respuestas pesando igual. Las respuestas raras cuentan tanto como las comunes.

Modelo multitarea. Un solo modelo que toma varias decisiones sobre la misma entrada. Se mide por tarea contra su modelo base.

ONNX. Un formato de archivo abierto para modelos. Corre en CPUs en cualquier lenguaje con ONNX Runtime, en servidores, navegadores y teléfonos.

Cuantización (8 bits). Guardar los números del modelo con menos bits. Más pequeño y más rápido, con una pérdida mínima.

Exactitud selectiva. La exactitud sobre solo las respuestas más seguras (el 80% de ellas en la garantía): lo que obtienes al automatizar esas y enviar el resto a una persona.

Agente de estructuración. Nuestra agente que lee tus datos enmascarados y los convierte en ejemplos de entrenamiento para la decisión que quieres.

F1 de la peor clase. El F1 de la respuesta que el modelo maneja peor. Evita que un promedio esconda una respuesta que colapsó.