Confidence: qué hacer cuando el modelo dice «no estoy seguro»
Ya has visto confidence en las respuestas de las cuatro lecciones anteriores: cuando el ticket de Choice se dividía entre returns y billing era 0.42, cuando el reporte de bug de Score oscilaba entre dos niveles era 0.35, y Noul directamente no lo da. De dónde sale este número, cómo usarlo y cuándo no hacerle caso — esta lección explica de una vez el confidence de Jev, en 12 minutos.
Primero la conclusión: el confidence es un número calculado a partir de la propia distribución de probabilidades de la respuesta, no es una confesión del modelo. En tu código lo usas para una sola cosa: decidir si esa respuesta se ejecuta automáticamente o no.
Qué podrás hacer al terminar
- Verificar a mano cualquier confidence desde
probabilitiescon las fórmulas oficiales: Choice y Score tienen cada una la suya, ambas reproducibles en Python - Escribir código con el uso en tres niveles: ejecución automática con confianza alta, marcado para revisión con confianza media, derivación a humano con confianza baja
- Escalar los umbrales según el riesgo: 0.5 como suelo de respaldo, y operaciones de alto riesgo como
approve_transferexigen > 0.9 para operar sin supervisión - Explicar por qué Noul no tiene confidence y cómo calcularlo tú mismo
|2p − 1|cuando quieres unificar el umbral - No forzar el confidence cuando toca usar
probabilities: en qué situaciones son más adecuados los dos indicadores alternativos, la probabilidad top y el ratio top-to-second
Tu dilema actual
- La automatización va bien y de repente una entrada toma una rama absurda — visto después, el modelo en realidad estaba «inseguro», pero tu código no tenía dónde enterarse
- Le preguntas a GPT «¿estás seguro?» y responde con un párrafo de prosa tipo «estoy bastante convencido, aunque tampoco descarto…», algo que no se puede escribir en un
if - También has pensado en fabricar tú mismo una «medida de certeza» a partir de la distribución de probabilidades, pero cada tipo de pregunta tiene una forma de distribución distinta, la fórmula no se deja fijar y el umbral menos aún se puede unificar
Cuándo usar esta técnica
Cuando necesitas:
- Hacer una compuerta entre «ejecutar automáticamente / derivar a humano»: la respuesta te dice qué es, el confidence te dice si hay que hacerlo
- Manejar todas las respuestas Choice / Score con una misma escala de 0 a 1, pudiendo fijar umbrales desde la primera petición
- Un chequeo previo al lanzar material en chino y otros idiomas no ingleses: la documentación oficial advierte que la precisión en CJK es menor, así que vigila de cerca el confidence al enrutar
Y no quieres:
- Poner umbrales por todas partes — si solo te importa elegir la mejor opción, basta con tomar la de mayor probabilidad (ver el aviso de trampas, punto 4)
- Volver a enviar una petición o llamar a otro modelo para saber «qué tan seguro está el modelo»
- Forzar la ejecución automática cuando el propio modelo no está seguro
🎒 Preparativos antes de empezar
- Haber completado la lección de puntuación Score: tienes en la mano un
score_bug.pyque funciona y ya viste la respuesta 1.43 / 0.35 - Haber visto la lección de opción múltiple Choice: sabes que
probabilitieses la distribución de todas las opciones y que suma aproximadamente 1 - Haber completado la primera petición: tienes
typesafe-sdkinstalado en.venvyTYPESAFE_API_KEYya está en las variables de entorno
Idea central
El confidence es un resumen en un solo número de la forma de la distribución. Cada respuesta Choice / Score trae su propio probabilities — cómo se reparten las probabilidades es toda la información sobre el grado de certeza del modelo: todo en un resultado = muy seguro, repartido uniformemente = inseguro. confidence simplemente comprime esto en un número de 0 a 1, para que no tengas que hacer las matemáticas tú mismo.
| Forma de la distribución | confidence | Significado del modelo |
|---|---|---|
| Todo en un solo resultado | 1 | «Es este» |
| Concentrado pero dividido | 0.4 aproximadamente | «Con toda probabilidad es este, pero hay alternativas» |
| Repartido uniformemente | 0 | «No sabría decirte» |
Dos ideas clave, que dejamos sentadas aquí primero:
- No es una garantía de que «la respuesta sea correcta». confidence 1.0 describe el hecho de que «la distribución apuesta todo a un único resultado», sin garantizar que ese resultado sea correcto: si el enunciado está redactado de forma ambigua, el modelo puede apostar con mucha seguridad a la respuesta equivocada
- No requiere que pagues nada adicional. TypeSafe lo devuelve directamente en cada respuesta Choice / Score, con cero trabajo extra en el uso habitual
¿Por qué merece la pena dedicarle un número propio? Palabras textuales de la documentación oficial: un sistema inteligente —sea humano o máquina— que no puede expresar su incertidumbre honestamente no merece confianza. confidence es precisamente el mecanismo integrado con el que el modelo dice «en esto no estoy seguro»: gracias a él, tu código puede hacer cosas distintas según el grado de certeza. Es la base para construir sistemas «realmente fiables».
La relación entre los tres tipos de pregunta y confidence, clara en una sola tabla:
| Tipo de pregunta | ¿Tiene confidence? | Por qué |
|---|---|---|
| Choice | ✅ | Las probabilidades se reparten entre n opciones, hace falta un resumen |
| Score | ✅ | Las probabilidades se reparten entre niveles ordenados, hace falta un resumen |
| Noul | ❌ | Solo hay dos resultados, sí/no, y una sola probabilidad noul ya describe la distribución completa |
| Box | ✅ | La localización de imágenes también lleva un número 0–1 |
Sígueme
Paso 1: verificar a mano el confidence de la respuesta Score del ticket
Por qué: si no confías en la fórmula, no puedes confiar en los umbrales. Verifica con una respuesta real de la lección de Score, grabada oficialmente: si sale 0.35, todos los umbrales posteriores se sostienen.
La respuesta completa de la lección de Score score_bug.py (ejemplo oficial, bug_severity):
{
"type": "score",
"score": 1.43,
"confidence": 0.35,
"probabilities": {
"0": 0.0,
"1": 0.57,
"2": 0.43
}
}Ya sabes de dónde sale la puntuación 1.43 (número de nivel × ponderación por probabilidad). ¿Y el confidence 0.35? Función Python oficial, utilizable palabra por palabra:
def score_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
m = probabilities.index(max(probabilities))
spread = sum(p * abs(i - m) for i, p in enumerate(probabilities))
even_spread = sum(abs(i - (n - 1) / 2) for i in range(n)) / n
return max(0.0, 1 - spread / even_spread)
levels = sorted(answer.probabilities)
score_confidence([answer.probabilities[level] for level in levels])Añade estas líneas al final de score_bug.py (answer = response.answers["bug_severity"]) y vuelve a ejecutar:
.venv/bin/python score_bug.pyDeberías ver: la función devuelve 0.355, coincidente con el 0.35 devuelto por la API (0.355 redondeado a dos decimales es 0.35). Verificación de la documentación oficial con la misma distribución: el nivel más probable es 1, el spread es 0.43, la distancia media de una distribución uniforme en tres niveles es 2/3, así que 1 − 0.43 ÷ (2/3) ≈ 0.35.
Ahora sabes algo importante: confidence no es una puntuación de caja negra, es una función pura: en cualquier momento se puede recalcular a partir de las propias probabilities de la respuesta. La intuición de la fórmula difiere un poco entre Score y Choice; los dos pasos siguientes los examinan por separado.
- He calculado 0.355 y sé que es el mismo número que el 0.35 devuelto por la API
Paso 2: verificar la fórmula de confidence de Choice: solo mira la probabilidad más alta
Por qué: Choice es la señal de filtrado que más usarás a diario (el enrutamiento inteligente está construido sobre ella), y su fórmula es mucho más simple que la de Score: se puede calcular mentalmente en una línea.
Para un Choice con n opciones y probabilidad máxima p_max:
confidence = (p_max − 1/n) / (1 − 1/n)Cómo leerlo: mide cuánto supera la probabilidad más alta a la «línea de reparto uniforme» (1/n por opción): reparto uniforme = 0, todo a una = 1. Sustituyendo tres opciones, obtienes la forma que ya viste en la lección de Choice:
confidence = (3 × 最大概率 − 1) / 2Verifícalo con la función oficial. Solo mira la probabilidad top: el confidence de (0.6, 0.3, 0.1) y de (0.6, 0.2, 0.2) es 0.4 en ambos casos:
def choice_confidence(probabilities: list[float]) -> float:
n = len(probabilities)
return (max(probabilities) - 1 / n) / (1 - 1 / n)
choice_confidence(list(answer.probabilities.values()))Deberías ver:
choice_confidence([0.6, 0.3, 0.1]) # 0.4
choice_confidence([0.6, 0.2, 0.2]) # 0.4Calcula tú mismo el department de aquel ticket ambiguo de la lección de Choice (returns 0.61, billing 0.35, shipping 0.04): (0.61 − 1/3) / (2/3) ≈ 0.42, exactamente el 0.42 que la API devolvió en su momento.
Grábate el carácter de esta fórmula: el confidence de Choice se hace el ciego: solo mira al primero, sin importar cómo se repartan el segundo, el tercero o el quinto. Esa es la frontera entre Choice (opciones sin orden) y Score (niveles con orden), y es el tema del siguiente paso.
- Puedo calcular mentalmente el confidence de tres opciones: (3 × probabilidad máxima − 1) / 2
Paso 3: entender por qué la fórmula de Score calcula «distancias»
Por qué: los niveles de Score tienen un orden: «algo grave» y «muy grave» son vecinos, «no importa» y «fatal» son los extremos. Con la misma división en dos niveles, la posición de la división cambia, y el grado de certeza debería cambiar también. La fórmula de Choice no puede hacer esto.
La comparación oficial, merece que la mires fijamente diez segundos:
| Probabilidades en una escala de tres niveles | confidence | Estado del modelo |
|---|---|---|
| (0, 0.5, 0.5) | 0.25 | Duda entre dos niveles adyacentes |
| (0.5, 0, 0.5) | 0 | Desgarrado entre los dos extremos del espectro |
| (0.6, 0.2, 0.2) (calculado como Choice) | 0.4 | Solo mira al primero |
La fórmula de Choice calcula 0.25 para las dos primeras distribuciones: no ve la «distancia». La fórmula de Score sí la ve:
confidence = max(0, 1 − distancia media ponderada por probabilidad al nivel más probable ÷ distancia media de la distribución uniforme)El spread del código del paso 1 es precisamente esa «distancia media ponderada por probabilidad», y even_spread es la distancia de referencia de la distribución uniforme; cuando la distribución está más dispersa que la uniforme, el límite inferior toma 0. El efecto en una frase: la probabilidad que cae en niveles cercanos penaliza poco, la que cae lejos penaliza mucho.
¿Cuándo conviene pensar en este contraste? Al ver un confidence bajo, la documentación oficial da tres explicaciones: los niveles se superponen para esta entrada, la pregunta mide más de una cosa, o falta información de state. Revisa una por una: ajusta las descripciones de los niveles, divide la pregunta, añade material — la lección de Score ya desarrolló cómo hacerlo en sus advertencias sobre errores comunes.
Deberías ver: verificando score_confidence([0, 0.5, 0.5]) con la función del paso 1 se obtiene 0.25, y score_confidence([0.5, 0, 0.5]) da 0.0 — coinciden con los números de la documentación oficial.
- Puedo decir cuál es el confidence de (0, 0.5, 0.5) y de (0.5, 0, 0.5) y por qué difieren
Paso 4: convierte el confidence de Jev en comportamiento del código con el uso de tres niveles
Por qué: tras verificar la fórmula, volvamos a la cuestión más práctica — tienes un número entre 0 y 1, ¿cómo escribir el if? El patrón de partida que da la documentación oficial: dividir en tres niveles, con un comportamiento por nivel.
| Nivel | Comportamiento del código | Sentido de las palabras originales oficiales |
|---|---|---|
| Alto | Ejecutar automáticamente | El modelo lo ve con claridad, no hace falta intervención humana |
| Medio | Actuar con cautela — pedir confirmación al usuario, marcar para revisión, completar información antes de actuar | La respuesta es razonable, pero el modelo no está seguro |
| Bajo | No ejecutar — derivar a un humano, pedir aclaración, retroceder a otro sistema | El modelo está diciendo: falta información, o esta pregunta no es adecuada |
Aplícalo a los rostros familiares (las cinco preguntas del paso 3 de la lección de Choice, con los valores del ejemplo oficial):
| Pregunta | confidence | Cómo cae en los tres niveles |
|---|---|---|
return_reason(wrong_size 1.0) | 1.0 | Alto: adoptar directamente |
tone(frustrated 0.84) | 0.76 | Frontera alto / medio: utilizable automáticamente |
shipping_issue(delayed 0.74) | 0.67 | Medio: como el departamento no es shipping, el código simplemente lo ignora |
department(returns 0.61) | 0.42 | Medio: seguir la vía de returns, pero enviar una copia a billing |
requested_resolution(refund 0.40) | 0.2 | Bajo: preguntar al cliente, no adivinar |
Deberías ver: el mismo lote de respuestas cae en tres niveles según el confidence, y cada nivel corresponde a un comportamiento de código bien definido — no solo un interruptor de «ejecutar / no ejecutar».
¿Dónde trazar las fronteras de los niveles? La frase siguiente de la documentación oficial es la respuesta — depende del riesgo, que es justamente el paso siguiente.
- Puedo decir, para cualquier confidence, en qué nivel cae y qué debe hacerse en ese nivel
Paso 5: haz que el umbral de confianza escale con el riesgo (código oficial completo)
Por qué: las fronteras de los tres niveles no son tres constantes globales. Una frase oficial lo aclara: en un mismo sistema, acciones distintas deben tener umbrales distintos según «las consecuencias de equivocarse». Esta es la diferencia entre un umbral de confianza (confidence threshold) y un número mágico cualquiera.
Ejemplo oficial completo — la detección de intenciones de un asistente bancario por voz, con tres intenciones de riesgo muy distinto:
response = client.system_one(
state=user_message,
questions={
"action": Choice(
instructions="What is the user trying to do?",
criteria={
"check_balance": "View account balance",
"approve_transfer": "Approve the pending withdrawal request",
"support": "Get help with an issue",
},
),
},
)
action = response.answers["action"]
confidence = action.confidence
if confidence < 0.5:
# Model is genuinely unsure. Don't guess.
route_to_human(user_message)
elif action.choice == "check_balance":
# Low stakes. Showing the wrong screen is recoverable.
show_balance(account_id)
elif action.choice == "approve_transfer":
if confidence > 0.9:
# High stakes, high confidence. Proceed with confirmation.
confirm_then_execute(account_id)
else:
# High stakes, moderate confidence. Verify first.
ask_user_to_confirm(account_id)Desglosemos cada compuerta (todo proviene del código oficial):
| Compuerta | Valor | Lógica |
|---|---|---|
| Suelo de respaldo floor | 0.5 | Atrapa primero todo lo que sea «el modelo dice que no está seguro» — no se permite adivinar |
check_balance | 0.5 Con eso basta | Bajo riesgo: en el peor caso aparece una pantalla de error, recuperable |
approve_transfer | > 0.9 para ejecutar directamente | Alto riesgo: una transferencia masiva mal hecha es irreversible, confirmar primero |
El riesgo se codifica en tu código, no en el modelo — esta es la postura que la documentación oficial subraya una y otra vez. Acompañada de dos recomendaciones prácticas:
- Empieza de forma conservadora: fija primero umbrales altos, prueba con tus propios datos y ajústalos al ver el rendimiento real — palabras textuales de la NOTE oficial: el umbral correcto depende de tu dominio y del rendimiento del modelo en tu caso de uso
- Cambiar el umbral no requiere cambiar el prompt: el umbral es una constante del código. El Agent Skill oficial sugiere concentrar las preguntas y las constantes de umbral en un solo archivo, para que la revisión humana no requiera buscar por todas partes
Deberías ver: un fragmento de código de enrutamiento que primero tiene el suelo de respaldo de 0.5 y luego se estratifica por tipo de acción — no un único umbral global que corta todo de raíz.
De paso, respondamos la pregunta dejada en la lección anterior: route_to_human / show_balance son nombres de funciones ilustrativos; sustitúyelos por tu propia lógica de procesamiento.
- Mi código de compuertas tiene un suelo de respaldo floor, y el umbral de las acciones de alto riesgo es más alto que el de las de bajo riesgo
💡 ¿Y si Noul quiere entrar en el mismo conjunto de compuertas?
La lección de Noul ya dio la fórmula en sus técnicas avanzadas: confidence = |2p − 1| — con p igual a 0.99 se obtiene 0.98, y con p igual a 0.5 se obtiene 0. La documentación oficial explica que es simplemente la fórmula de Choice aplicada a las dos opciones «sí/no», así que comparte la misma escala de confidence que Choice y puede entrar en el mismo código de compuertas.
Punto de control ✅
- He verificado a mano al menos un confidence (el 0.35 de Score o el 0.42 de Choice) y sé que es una función pura de
probabilities - Sé que la fórmula de Choice solo mira la probabilidad más alta: (0.6, 0.3, 0.1) y (0.6, 0.2, 0.2) dan ambos 0.4
- Puedo decir que (0, 0.5, 0.5) es 0.25, que (0.5, 0, 0.5) es 0, y por qué la fórmula de Score calcula distancias
- Mi código usa un esquema de tres niveles: alto = ejecución automática, medio = confirmar o marcar, bajo = escalar a humano; el umbral se escala con el riesgo (0.5 como mínimo, alto riesgo > 0.9)
- Sé que confidence es la «forma de la distribución», no una garantía de que «la respuesta es correcta»; con preguntas ambiguas el modelo apostará con confianza al resultado equivocado
Advertencias de errores comunes
❌ Tratar confidence como garantía de que «la respuesta es correcta»
Síntoma: una respuesta con confidence 1.0 salió mal, y empiezas a sospechar que el modelo «se hace el terco».
Por qué está mal: confidence 1.0 solo describe que «la distribución de esta pregunta apuesta todo a un único resultado»; habla de la coherencia interna del modelo con esa respuesta, no certifica que sea correcta. Con descripciones de niveles ambiguas o state con información faltante, el modelo puede apostar con mucha confianza a la opción equivocada—en el experimento de escalas de la lección de Score, confidence seguía dando valores a nivel de 1.0.
Cómo hacerlo bien: usa confidence como un control de acceso para decidir «ejecutar automáticamente o no», y mide la calidad de las preguntas por separado—la NOTE oficial dice literalmente: usa tus propios datos y ajusta según el rendimiento observado. Investigar un confidence bajo en tres direcciones (solapamiento de niveles / la pregunta mide varias cosas / state con información insuficiente) es el camino para eliminar la causa raíz. Autoconsistencia la página del escenario muestra otro camino: medir la estabilidad a lo largo de múltiples ejecuciones.
❌ Umbral único para todo, alto y bajo riesgo comparten el mismo número
Síntoma: asignar el mismo umbral de confidence a todas las acciones (por ejemplo 0.6 en todo el sitio); tras el lanzamiento, las acciones de bajo riesgo se escalan a humanos sin parar y las de alto riesgo a veces se escapan.
Por qué está mal: la documentación oficial dice claramente que las consecuencias de equivocarse difieren según la acción—un error en check_balance es recuperable, un error en approve_transfer es irreversible. Un mismo umbral no puede satisfacer dos niveles de riesgo a la vez.
Cómo hacerlo bien: mínimo de 0.5 + estratificación por acción (el código oficial del paso 5); además, no uses constantes X-Y como umbral global, escribe los umbrales como constantes con nombre y comentarios conocidos, en el mismo archivo que la definición de la pregunta para facilitar la revisión humana.
❌ Usar confidence para análisis de distribuciones
Síntoma: quieres calcular «cuánto peor es el segundo que el primero» o «cuál es la entropía de las probabilidades» y alargas la mano hacia confidence.
Por qué está mal: confidence es un resumen único obtenido al comprimir la distribución, y comprimir significa perder información. La lista de preguntas frecuentes del Agent Skill oficial lo señala: cuando hay necesidades de algoritmos estadísticos concretos, lo que corresponde usar es probabilities, no confidence.
Cómo hacerlo bien: para análisis toma probabilities (se devuelve completo cada vez; la documentación oficial dice literalmente «puedes calcular tú mismo cualquier métrica significativa»); para el control de acceso usa confidence. Las dos necesidades suelen coexistir—entonces toma cada cosa de la respuesta por separado, ver Técnicas avanzadas.
❌ Poner umbrales de confidence por todas partes
Síntoma: pones un umbral en cada respuesta y en cada rama, cada vez más, y ya no puedes ajustarlos.
Por qué está mal: la lista de preguntas frecuentes del Agent Skill oficial: cuando solo te importa elegir la mejor opción, basta con tomar directamente la de mayor probabilidad (es decir, el choice devuelto), sin necesidad de poner umbrales de confidence por todas partes.
Cómo hacerlo bien: pon umbrales solo en los controles de acceso críticos donde «no estás seguro de si esta respuesta puede ejecutarse automáticamente» (los tres puntos del paso 5 son típicos); para elegir la mejor opción toma directamente choice / la mayor probabilidad. Este es también el antídoto oficial para el síntoma de «umbrales por todas partes».
❌ Buscar un campo confidence en respuestas Noul
Síntoma: response.answers["is_urgent"].confidence—da AttributeError.
Por qué está mal: la distribución de Noul solo tiene dos resultados, un único valor de probabilidad ya la describe por completo, no hay nada que resumir; la documentación oficial lo ha subrayado tanto en la página de Noul como en la de Confidence. Que se acerque a 0.5 es en sí misma su señal de incertidumbre.
Cómo hacerlo bien: usa directamente los umbrales de partida de la lección de Noul, yes ≥ 0.7, no ≤ 0.3, valores intermedios se escalan a humanos; si necesitas la misma escala, calcula tú mismo |2p − 1| (el tip del paso 5).
Técnicas avanzadas (opcional)
🔧 ¿No quieres usar el confidence oficial? Dos métricas alternativas. La documentación oficial dice claramente que confidence es solo «un resumen razonable, no el único»—las dos siguientes se calculan a partir del mismo probabilities y en la práctica suelen ser igual de eficaces; vale la pena probarlas en paralelo con confidence:
| Métrica | Definición | Cuándo resulta cómoda | Recordatorio oficial |
|---|---|---|---|
| Probabilidad top p_max | La probabilidad del primero, leída directamente como «la posibilidad de la opción elegida» | El umbral es fácil de razonar | El significado cambia con el número de opciones—0.5 es una respuesta débil con dos opciones y fuerte con diez, fija el umbral por pregunta |
| Ratio top-to-second p_max / p_second | Cuánto más claro es el primero frente al segundo | Las decisiones reales a menudo se reducen a los dos primeros | Ignora la distribución del resto de opciones |
Como la fórmula es exacta y probabilities se devuelve completo cada vez, tu aplicación puede calcular por sí misma cualquier estadístico que necesite—que el sistema devuelva un valor fijo solo te da «un valor por defecto razonable desde la primera petición».
🔧 Chequeo de confidence para material en chino. La documentación oficial dice en la página de soporte de idiomas: otros idiomas, incluidos los CJK, funcionan pero con menor precisión, y las cargas no inglesas «requieren vigilar de cerca el confidence al enrutar». Antes de lanzar contenido en chino: ejecuta un lote con tus propios datos, calcula la distribución de confidence y la proporción de respuestas que caen en la banda de incertidumbre, y solo después fija el umbral—este es también el primer paso que esta sección insiste en repetir.
🔧 Sentir la fórmula sin escribir código. En el Playground (console.typesafe.ai/playground) de la lección Primera petición, pega el state, añade una pregunta Choice y observa cómo cambia confidence al deslizar la probabilidad de una opción—la demo interactiva al inicio de la página de documentación oficial se basa en este mismo principio (tres opciones, (3 × 最大概率 − 1) / 2).
Resumen de la lección
✅ Jev confidence es un estadístico calculado a partir del propio probabilities de la respuesta: apostar todo a un resultado = 1, repartido uniformemente = 0; viene incluido en cada respuesta Choice / Score, Noul no lo tiene.
✅ La fórmula se puede verificar: Choice es (p_max − 1/n) / (1 − 1/n) (solo mira la probabilidad más alta); Score compara la distancia al nivel más probable ponderada por probabilidad frente a la distribución uniforme, penalizando poco los niveles vecinos y mucho los lejanos.
✅ Esquema de tres niveles: alto = ejecución automática, medio = confirmar o marcar, bajo = escalar a humano; el umbral se escala con el riesgo—mínimo de 0.5, approve_transfer de alto riesgo debe ser > 0.9.
✅ Dos cosas que no hacer: no tratar confidence como garantía de corrección (describe la distribución); no usarlo para análisis estadístico (para análisis usa probabilities, para elegir la mejor opción toma directamente la mayor probabilidad).
Repaso de los campos de configuración clave:
| Campo / constante | Valor recomendado | Descripción |
|---|---|---|
confidence | 0–1, se lee directamente | Incluido en las respuestas Choice / Score / Box; Noul no lo tiene |
| Mínimo floor | 0.5 | Punto de partida del ejemplo oficial; por debajo nunca se ejecuta automáticamente |
| Umbral de acciones de alto riesgo | > 0.9 | Línea sin supervisión para operaciones irreversibles (transferencias, borrados) |
| Umbral unificado de Noul | abs(2 * p - 1) | En la misma escala que el confidence de Choice |
| Ubicación de los umbrales | En el mismo archivo que la definición de la pregunta | Recomendación oficial: facilita la revisión humana |
Los tres usos de confidence en sistemas reales: enrutamiento inteligente (clasificación de intenciones + control por umbral de confianza formando un sistema completo de derivación); 75 tipos de clasificación sectorial (con confidence ≥ 0.9 se reporta la subcategoría, por debajo se reporta la categoría general — probado con 60 informes anuales de la SEC: la mitad con alta confianza acierta un 90%, y la mitad con baja confianza, al reportar la categoría general, sube de 40% a un 70% utilizable); autoconsistencia (medir la estabilidad de las respuestas a lo largo de múltiples ejecuciones).
Avance de la próxima lección
¿Cómo se hacen los juicios más allá del texto? Próxima lección: Box e imágenes: hacer que Jev encuentre cosas en imágenes.
Aprenderás:
- Las dos formas de incorporar imágenes en el state y en la pregunta, y cómo activar el encabezado de solicitud Danger Zone
- Cómo convertir los cuatro lados de la respuesta Box (top / bottom / left / right, cada uno 0–1) de vuelta a coordenadas en píxeles
- Cómo usar el confidence que viene con la respuesta Box: si está por debajo del umbral, ampliar el recorte o preguntar de nuevo con una mejor imagen
- Por qué la documentación oficial dice que Images / Box aún no alcanza el estándar de producción y que el formato puede cambiar entre versiones