Sacar el mejor modelo

• Tus propias categorías ganan. El modelo supera a Jev con holgura en decisiones con las respuestas de tu empresa (tus colas, equipos, productos, intenciones): BANKING77 0.889 contra 0.797 de macro-F1, un conjunto de atención 0.998 contra 0.771. En preguntas genéricas con pocos datos (el tema de una noticia, el tipo de cláusula de un contrato con unos cientos de ejemplos) Jev ya sabe mucho y el margen es pequeño. Arma la decisión en torno a tus respuestas.
• Los ejemplos por respuesta importan más que el total. Apunta a cientos de ejemplos etiquetados por respuesta cuando los tengas. Nuestros modelos base están preentrenados en decisiones, lo que ayuda más con muy pocos ejemplos; con muchos, deciden tus datos.
• La respuesta más débil marca el nivel. Un modelo es tan bueno como su peor respuesta: una respuesta con pocos ejemplos arrastra a todo el modelo. Une respuestas raras y parecidas, o junta más ejemplos de ellas, antes de entrenar.
• Respuestas que no se superponen, con descripción. La descripción de cada respuesta es parte de lo que lee el modelo. Escríbelas para que una persona nunca dude entre dos.
• La entrada de producción. Entrena con el texto que existe al momento de la decisión, nada que solo se sabe después (un campo "resuelto por" cuando la pregunta es qué equipo lo resuelve).
• Etiquetas consistentes. Al etiquetar los ejemplos de prueba, el mismo caso recibe siempre la misma respuesta: el modelo se mide contra esas respuestas.

Antes de enviarCopy Anchor Link

Envía una tabla limpia (CSV o JSON lines), no la exportación en bruto. Tu asistente de IA puede hacerlo por ti con las skills:

1. Una fila por ejemplo, con una columna de texto con todo aquello en que se basa la decisión (asunto y cuerpo, o los campos que leería una persona) y nada más.
2. Una forma de escribir cada respuesta: Billing, billing y Faturamento son una sola respuesta. Deja fuera las filas vacías.
3. Respuestas raras resueltas ahora: unidas con la respuesta más cercana, o con más ejemplos.
4. Sin fugas: columnas o texto que solo existen después de la decisión.
5. Sin duplicados exactos, y ningún ejemplo con más de unos 30.000 caracteres (se rechazan, nunca se cortan).
6. Un objetivo preciso: la pregunta y una línea por respuesta sobre cuándo aplica. Cuanto más preciso, mejor la primera propuesta.

Revisar la propuestaCopy Anchor Link

En cuanto la propuesta está lista, antes de etiquetar, revísala (la pantalla de Revisión, typestrict review, o structure.stats en la API) y envía lo que haya que cambiar como feedback:

1. Ejemplos por respuesta. Cientos por respuesta es donde el modelo se vuelve bueno, y una respuesta necesita al menos 5 ejemplos de prueba para medirse. Los ejemplos de prueba son el 20% de tus datos (hasta 2.000) cuando traen respuesta, o 150 al azar que tú etiquetas cuando no: entonces una respuesta con menos de un 3% de los datos recibe menos de 5. Une una respuesta rara con la más cercana, o agrega ejemplos de ella.
2. Respuestas que se superponen. Lee los ejemplos de cada respuesta. Si una persona intercambiaría dos respuestas, únelas o reescribe sus descripciones hasta que el límite quede claro. Cuando los datos no traían respuesta, poco acuerdo entre los preetiquetadores señala el mismo problema.
3. Etiquetas que parecen erróneas. Un ejemplo cuya respuesta no coincide con su texto indica una columna de respuesta ruidosa: corrige de dónde viene la respuesta.
4. Cada aviso. Cada uno dice qué cambiar.
5. Duplicados y fugas. El texto debe ser lo que existe al momento de la decisión.
6. La pregunta. Decide con las respuestas de tu empresa. Los modelos grandes ya responden bien preguntas genéricas (tema, sentimiento); tus colas, equipos y productos son lo que solo tus datos saben.

Cuando no supera a JevCopy Anchor Link

La comparación dice por qué (model.jev.superiority.reason): una ganancia demasiado pequeña para estar seguros, o una respuesta que queda detrás de Jev. Más ejemplos de las respuestas débiles, u otro modelo base con los mismos datos, son los próximos intentos. Cada versión se mide con los mismos ejemplos reservados, así que las versiones se comparan de forma justa.

En producciónCopy Anchor Link

Usa la confidence del modelo para decidir qué automatizar y qué enviar a una persona. El resultado muestra exactamente eso, la exactitud en el 80% de respuestas más confiadas: empieza automatizando por encima de un umbral y ajústalo con lo que veas. Hazle al modelo la pregunta y las opciones con que se entrenó, como están en decision_ai.json.