Proteger / Release Protection
Demostración de método para protección de release
¿Este cambio empeoró el sistema lo bastante como para que debamos bloquear el release?
Qué estás mirando
Un control de release: un cambio sintético se evalúa frente a un baseline y luego frente a varias condiciones de release acordadas, no una métrica mágica única, hasta que el gate se resuelve.
Qué puedes hacer
Elige un cambio en revisión, sigue el paso de la diferencia al umbral y al gate, inspecciona varias condiciones de release y lee el Decision Record, RELEASE, BLOCK o INVESTIGATE.
Qué significa
Regresión es cruzar un límite de release acordado, no simplemente que una métrica se movió. Un gate sin responsable y sin camino de acción no es útil.
Modelo mental
- CAMBIO
- EVALUAR
- COMPARAR CON BASELINE
- UMBRAL
- PASS/FAIL
- RELEASE/BLOCK
Release bajo revisión
Ruta de respuesta del asistente (escenario CI sintético)
Un conjunto de evaluación sintético congelado sostiene el gate. Chequeos rápidos corren en cada cambio; una suite conductual más amplia corre con una cadencia más lenta. Cruzar un umbral es lo que importa, no el ruido en un solo gráfico.
En este orden
- Nombrar el cambio bajo revisión
- Evaluar el comportamiento sobre fixtures versionados
- Comparar valores observados con el baseline acordado
- Resolver cada condición de release frente a su umbral
- Agregar resultados de condiciones en un estado de gate
- Actuar: RELEASE, BLOCK o INVESTIGATE con un camino de responsable
Control de release
Un único instrumento principal. Elige un cambio; la timeline revela delta → umbral → gate. Varias condiciones siguen siendo de primera clase.
DEMO DE MÉTODO SINTÉTICA / ILUSTRATIVA. Inventada para enseñar.
Timeline causal
1 · Cambio
Ajuste de prompt (parece bien)
commit synth-a1c3 · solo wording del system prompt
Retoque de copy en el system prompt. El comportamiento casi no se mueve; no se cruza ningún límite de release.
2 · Evaluar
Suite de gate rápido sobre fixtures congelados; la suite más amplia no es necesaria para esta clase de cambio.
3 · Comparar con baseline
Cada fila es un límite de release acordado. Que una métrica se mueva no basta, el umbral debe resolverse.
4 · Umbral / condiciones de release
Condiciones de release (no una métrica mágica)
Completitud de grounding
PASSAfirmación sin soporte
- Baseline
- 92%
- Observado
- 91%
- Delta
- −1 pp
- Umbral
- ≥ 88%
- Cadencia
- Gate rápido
Exceso de confianza dañino
PASSRespuesta incorrecta confiada
- Baseline
- 3.1%
- Observado
- 3.0%
- Delta
- −0.1 pp
- Umbral
- ≤ 5.0%
- Cadencia
- Gate rápido
Latencia p95
PASSAsistencia lenta
- Baseline
- 1.4 s
- Observado
- 1.5 s
- Delta
- +0.1 s
- Umbral
- ≤ 2.0 s
- Cadencia
- Gate rápido
Disciplina de deferral
PASSAbstención fallida
- Baseline
- 0.8%
- Observado
- 0.9%
- Delta
- +0.1 pp
- Umbral
- ≤ 2.0%
- Cadencia
- Evaluación más amplia
5 · Estado del gate
RELEASE
Todas las condiciones de release acordadas se mantienen dentro de sus umbrales. Un pequeño movimiento de métrica no es una regresión aquí.
Estado: RELEASE
Technical Inspect / Semantic Zoom (ilustrativo): Revelar fixtures, baseline, métricas, umbrales, job de CI, informe
Todos los campos de inspect son fixtures sintéticos para enseñar el método.
- Fixtures / eval set versionados
- eval-set@v0.4-synth · 120 tickets congelados
- Baseline
- baseline@main-synth-2026-07-01
- Métricas / clases de fallo
- grounding · overconfidence · latency p95 · deferral
- Umbrales
- release.yaml del equipo (ilustrativo)
- CI runner / job
- fast-gate · pr-check (runner sintético)
- Artefacto de informe
- report/synth-a1c3.json (artefacto ilustrativo)
Timeline causal
1 · Cambio
Ajuste de retrieval (cruza el límite)
commit synth-b7e2 · retrieval top-k + solape de chunks
Cambio de top-k y chunking. La completitud de grounding cruza el límite de release acordado.
2 · Evaluar
El gate rápido captura el fallo de grounding; la suite más amplia profundizaría la taxonomía de fallos después.
3 · Comparar con baseline
Cada fila es un límite de release acordado. Que una métrica se mueva no basta, el umbral debe resolverse.
4 · Umbral / condiciones de release
Condiciones de release (no una métrica mágica)
Completitud de grounding
FAILAfirmación sin soporte
- Baseline
- 92%
- Observado
- 81%
- Delta
- −11 pp
- Umbral
- ≥ 88%
- Cadencia
- Gate rápido
Exceso de confianza dañino
FAILRespuesta incorrecta confiada
- Baseline
- 3.1%
- Observado
- 6.4%
- Delta
- +3.3 pp
- Umbral
- ≤ 5.0%
- Cadencia
- Gate rápido
Latencia p95
PASSAsistencia lenta
- Baseline
- 1.4 s
- Observado
- 1.3 s
- Delta
- −0.1 s
- Umbral
- ≤ 2.0 s
- Cadencia
- Gate rápido
Disciplina de deferral
PASSAbstención fallida
- Baseline
- 0.8%
- Observado
- 1.1%
- Delta
- +0.3 pp
- Umbral
- ≤ 2.0%
- Cadencia
- Evaluación más amplia
5 · Estado del gate
BLOCK
Fallaron dos condiciones de release. Una latencia más rápida no redime un límite de grounding cruzado.
Estado: BLOCK
Technical Inspect / Semantic Zoom (ilustrativo): Revelar fixtures, baseline, métricas, umbrales, job de CI, informe
Todos los campos de inspect son fixtures sintéticos para enseñar el método.
- Fixtures / eval set versionados
- eval-set@v0.4-synth · 120 tickets congelados
- Baseline
- baseline@main-synth-2026-07-01
- Métricas / clases de fallo
- grounding · overconfidence · latency p95 · deferral
- Umbrales
- release.yaml del equipo (ilustrativo)
- CI runner / job
- fast-gate · pr-check (runner sintético)
- Artefacto de informe
- report/synth-b7e2.json (artefacto ilustrativo)
Timeline causal
1 · Cambio
Cambio de versión de modelo (hace falta un responsable)
commit synth-c9d4 · bump de tag de modelo (id de vendor sintético)
Cambio de versión de modelo. La calidad se mantiene; la latencia entra en una banda de caution que necesita un responsable antes de RELEASE.
2 · Evaluar
Caution de latencia en gate rápido; la eval más amplia sigue en verde. El gate no se libera solo sin investigación.
3 · Comparar con baseline
Cada fila es un límite de release acordado. Que una métrica se mueva no basta, el umbral debe resolverse.
4 · Umbral / condiciones de release
Condiciones de release (no una métrica mágica)
Completitud de grounding
PASSAfirmación sin soporte
- Baseline
- 92%
- Observado
- 93%
- Delta
- +1 pp
- Umbral
- ≥ 88%
- Cadencia
- Gate rápido
Exceso de confianza dañino
PASSRespuesta incorrecta confiada
- Baseline
- 3.1%
- Observado
- 2.9%
- Delta
- −0.2 pp
- Umbral
- ≤ 5.0%
- Cadencia
- Gate rápido
Latencia p95
CAUTIONAsistencia lenta
- Baseline
- 1.4 s
- Observado
- 1.95 s
- Delta
- +0.55 s
- Umbral
- ≤ 2.0 s (caution ≥ 1.8 s)
- Cadencia
- Gate rápido
Disciplina de deferral
PASSAbstención fallida
- Baseline
- 0.8%
- Observado
- 0.7%
- Delta
- −0.1 pp
- Umbral
- ≤ 2.0%
- Cadencia
- Evaluación más amplia
5 · Estado del gate
INVESTIGATE
No hay FAIL duro, pero la latencia entró en la banda de caution. INVESTIGATE, un responsable debe decidir antes de RELEASE.
Estado: INVESTIGATE
Technical Inspect / Semantic Zoom (ilustrativo): Revelar fixtures, baseline, métricas, umbrales, job de CI, informe
Todos los campos de inspect son fixtures sintéticos para enseñar el método.
- Fixtures / eval set versionados
- eval-set@v0.4-synth · 120 tickets congelados
- Baseline
- baseline@main-synth-2026-07-01
- Métricas / clases de fallo
- grounding · overconfidence · latency p95 · deferral
- Umbrales
- release.yaml del equipo (ilustrativo)
- CI runner / job
- fast-gate · broader-eval nocturna (sintético)
- Artefacto de informe
- report/synth-c9d4.json (artefacto ilustrativo)
Decision Record
Cómo se resuelve este trabajo: RELEASE, BLOCK o INVESTIGATE.
RELEASE
No se cruzó ningún límite de release acordado. Enviar sigue siendo defendible para este cambio.
BLOCK
Al menos una condición de release falló. No envíes hasta restaurar o renegociar el límite.
INVESTIGATE
Algo necesita un responsable antes de un RELEASE/BLOCK limpio. Caution: el gate no pasa solo a RELEASE.
Siguiente paso natural
Si el riesgo de release está vivo, habla del cambio real, baselines y quién responde del gate. El material publicado de regression-gate sigue siendo solo evidencia de método.