Estudio sintético
Una comparación que no recomendó a nadie.
¿Qué configuración supera una barra de calidad fijada antes?
Tres configuraciones recorrieron el mismo flujo sintético de tickets. La barra de calidad se fijó antes de mirar el resultado. La coincidencia exacta fue 11/30, 10/30 y 10/30. Ninguna quedó elegible. Una puntuación algo mayor no vuelve aceptable una configuración que no cumplió la barra. Un coste menor tampoco cambió eso. El holdout de esa corrida está abierto, así que no se reutiliza como no visto. En esta página no hay un comparador interactivo.
El aprendizaje está en la barra, no en elegir un ganador. Una puntuación relativa no es motivo para dar por buena una configuración que no cumplió los criterios.
Barra fijada antes: 24 de 30
| Configuración A | Configuración B | Configuración C |
|---|---|---|
| 11/30 | 10/30 | 10/30 |
Misma métrica y mismos 30 casos para las tres configuraciones. Los nombres A, B y C conservan el orden del resultado registrado. No son nombres de modelo. El holdout de esa corrida está abierto.
La configuración A obtiene el mayor resultado relativo, 11 de 30, y sigue por debajo de 24. Ninguna quedó elegible. Esto no es una recomendación de modelo.