Cálculo de reembolso
Cómo decidimos si tu modelo supera a Jev, y por tanto si el crédito vuelve, con números que cualquiera puede recalcular.
Todo modelo entrenado en una decisión se mide contra Jev, el modelo de referencia del mercado, con tus propios ejemplos. Si no supera a Jev, el crédito vuelve solo a tu saldo. "Superar" no es "una métrica por cualquier margen": el cálculo de reembolso exige una ganancia que se sostenga al remuestrear y ninguna métrica que colapse.
Los ejemplos de prueba
Antes del entrenamiento, apartamos ejemplos que el modelo nunca ve:
- El 20% de tus ejemplos etiquetados, sorteados por respuesta para que cada respuesta mantenga su proporción, hasta 2,000.
- Cuando tus datos no tienen respuestas, en su lugar los ejemplos que una persona etiquetó en el paso de revisión.
El sorteo usa como semilla el dataset, así que cada versión de un modelo se mide con los mismos ejemplos. Jev responde los mismos ejemplos con la misma pregunta: sus respuestas se usan solo para medir, nunca para entrenar.
Cuatro métricas
Cada sistema recibe cuatro puntuaciones en los ejemplos de prueba, todas mejores cuanto más altas:
| Métrica | Qué dice |
|---|---|
macro_f1 | Con qué frecuencia la respuesta es correcta, con todas las respuestas pesando igual, así que una respuesta rara cuenta tanto como una común. |
brier_skill | Qué tan buenas son las probabilidades: 1 - mean Brier / 2, de 0 a 1. Premia estar seguro cuando acierta y dudar cuando se equivoca. |
selective_acc_80 | La exactitud sobre el 80% de respuestas más seguras: lo que obtienes al automatizar las seguras y enviar el resto a una persona. |
worst_class_f1 | El F1 de la respuesta más débil con 5 ejemplos o más. Ninguna respuesta puede colapsar. |
La regla
La ganancia ponderada sobre Jev es
G = 0.5 × Δmacro_f1 + 0.3 × Δbrier_skill + 0.2 × Δselective_acc_80donde Δ es nuestra puntuación menos la de Jev. El modelo supera a Jev solo si se cumplen las dos condiciones:
- La ganancia es real. Remuestreamos los ejemplos de prueba 2,000 veces (un bootstrap pareado: el mismo sorteo para
ambos sistemas) y recalculamos
Gcada vez. El percentil 5 de esos 2,000 valores debe estar por encima de cero:G > 0con 95% de confianza. - Nada colapsa. Ninguna métrica puede quedar por debajo de la de Jev por más de su margen: 0.02 para las tres
primeras, 0.05 para
worst_class_f1.
Cualquier otro resultado es un reembolso, empates incluidos. Cuando las probabilidades empatan en el primer lugar, ambos sistemas reciben el mismo beneficio de la duda: la respuesta cuenta como correcta si la correcta está entre las empatadas.
Determinista
La semilla del bootstrap sale del SHA-256 de los textos de los ejemplos de prueba. Mismos ejemplos, mismas respuestas, mismos números, siempre.
Verifícalo tú mismo
Cada modelo tiene un archivo de auditoría (GET /v1/models/{id}/audit): para cada ejemplo de prueba, el SHA-256 de su
texto, la respuesta correcta y las probabilidades de ambos sistemas, además del informe con todos los números de arriba. El
verificador reconstruye el informe completo con la biblioteca estándar de Python y falla si algún número difiere:
curl -O https://typestrict.ai/verify_audit.py
python3 verify_audit.py audit.jsonLa auditoría no guarda ningún texto tuyo, solo hashes y probabilidades, así que se queda con el registro del modelo incluso después de que sus archivos expiran (ver Retención).
Cuándo no aplica la garantía
- Varias decisiones en un modelo (un plan multitarea): cada tarea se mide contra el modelo base del que partió, no contra Jev, y no hay reembolso por el resultado.
- Un entrenamiento que falla también devuelve el crédito, sea cual sea el tipo de modelo.