Enrutamiento inteligente: clasificación de intenciones con control por confianza
Las preguntas en paralelo de la lección anterior resolvieron «hacer todas las preguntas de una vez». Esta lección resuelve lo que viene después: una vez obtenidas las respuestas, ¿a quién se le pasa el mensaje para que lo procese—código determinista, un LLM experto o un humano.
La documentación oficial divide esto en dos patrones: Intent routing (enrutamiento por intención) clasifica primero y luego despacha; Confidence-gated routing (enrutamiento con control por confianza) añade además una compuerta —«la respuesta te dice qué es, la confidence te dice si hay que actuar». Combinados, los dos patrones forman el enrutamiento inteligente de esta lección. Duración total: 12 minutos.
En realidad, ya hiciste una vez el enrutamiento más sencillo en la primera solicitud: route_ticket.py usaba el Choice department para asignar los tickets al equipo technical. Esta lección lo amplía hasta un sistema de enrutamiento completo, listo para un entorno de producción.
Qué serás capaz de hacer al terminar
- Completar con Choice el enrutamiento por intención en Jev: clasificar los mensajes entrantes en un conjunto fijo de intenciones (order_status / product_question / return_exchange / complaint) y evaluar a la vez la complejidad con Score
- Escribir código de enrutamiento con rama de respaldo: confidence por debajo del umbral → humano; por encima del umbral → despacho con if/elif hacia tres tipos de procesadores
- Configurar umbrales distintos según el riesgo de la acción: las acciones de bajo riesgo (consultar el saldo) pasan con 0.6, las de alto riesgo (aprobar una transferencia) requieren 0.85 o más para omitir la confirmación
- Explicar con claridad cuándo no conviene fijar un umbral de confidence, y la ruta oficial de diagnóstico cuando el enrutamiento no se comporta como se esperaba
- Usar probabilities para rutas secundarias ajenas al control, como el «envío en copia a la segunda intención»
Tu problema actual
- Uso un modelo grande para el enrutamiento por intención; en el prompt dejé escrito «solo devuelve una de las cuatro opciones», pero de vez en cuando me responde «esto es una consulta de pedido» seguido de una explicación. Escribí decenas de líneas de regex con try/except para cubrirlo, y el código de análisis acaba siendo más largo que el código de negocio
- También probé un enrutamiento por reglas de palabras clave: «reembolso» → posventa, «logística» → pedidos. La primera semana funcionó muy bien; la segunda, un usuario dijo «lo que compré la última vez todavía no ha llegado», la tabla de reglas creció de 20 a 200 entradas, y la tasa de acierto seguía sin subir
- El modelo nunca me dice que «no está seguro»: una certeza del cincuenta y dos por ciento y otra del noventa y ocho me llegan exactamente iguales, y solo me queda ejecutar a ciegas. Si un pedido se consulta mal, el usuario vuelve a preguntar y asunto resuelto; pero ejecutar mal una transferencia es una pérdida de dinero real
Cuándo usar esta técnica
Cuando necesitas:
- Despachar las solicitudes entrantes hacia distintos procesadores: tickets de atención al cliente, comandos de voz, selección de habilidades de un agent
- Poder retroceder con seguridad cuando el modelo no está seguro: derivar a un humano, pedir confirmación o reformular la pregunta
- Gastar los recursos caros solo en las solicitudes que de verdad lo necesitan —un LLM experto no debería responder a «consultar pedido»
Y además no quieres:
- Pasar cada mensaje por un modelo grande y luego escribir código de análisis para extraer su salida de texto
- Mantener una tabla de correspondencias de palabras clave imposible de completar
- Carecer de señales de incertidumbre del modelo, de modo que los errores solo se apagan después
🎒 Preparativos antes de empezar
- Haber completado Preguntas en paralelo y fan-out especulativo: saber que varias preguntas se evalúan en paralelo y de forma independiente en una sola solicitud (el Choice + Score de esta lección depende de ello)
- Haber ejecutado con éxito la primera solicitud:
.venvtiene instaladotypesafe-sdkyTYPESAFE_API_KEYya está en las variables de entorno - Recordar más o menos cómo se escriben Choice y Score (no pasa nada si lo olvidaste: en el paso 1 se escribe paso a paso)
Idea central
Primero clasificar, luego despachar. Definición oficial de Intent routing:
Clasificar las solicitudes entrantes y enrutar cada una hacia el procesador óptimo: lógica determinista, un LLM experto o un humano.
No todos los mensajes necesitan el mismo tipo de procesador: algunos se responden con una consulta a la base de datos, otros requieren un LLM con contexto del dominio y otros deben ir a una persona. Jev se sienta delante de todos los procesadores y actúa como ese clasificador «rápido y barato» —la documentación oficial indica que la mayoría de las llamadas se completan en unos 100 milisegundos (docs/concepts/how-to-build-with-system-one.md:55)—, y lo caro solo se activa para las solicitudes que de verdad lo necesitan.
Añadir además una compuerta. Definición oficial de Confidence-gated routing:
Tratar la confidence como un segundo eje. La respuesta te dice «qué es»; la confidence te dice «si hay que actuar».
Cada respuesta Choice y Score de Jev incluye su propia confidence (0–1, calculada a partir de la concentración de la distribución de probabilidades). Los tres niveles de uso oficiales:
| confidence | comportamiento |
|---|---|
| Alta | Ejecución automática, sin intervención humana |
| Media | Proceder con cautela: pedir confirmación al usuario, marcar para revisión o completar información primero |
| Baja | No actuar: derivar a un humano, pedir aclaración o retroceder a otro sistema |
Uniendo ambos patrones se obtiene una canalización de enrutamiento completa (la estructura del ejemplo oficial de enrutamiento de atención al cliente):
customer message
│ Una solicitud: mensaje + 2 preguntas
▼
┌─────────────────────────────┐
│ intent(Choice) │ ← evaluación en paralelo
│ complexity(Score) │
└─────────────────────────────┘
│ Una respuesta: 2 respuestas con confidence
▼
¿confidence del intent ≥ 0.5?──no──▶ humano
│sí
▼ Despachar según intent.choice
├─ order_status → consulta de pedido (código determinista, sin LLM)
├─ product_question → LLM experto en productos
├─ return_exchange → LLM experto en devoluciones y cambios
└─ complaint → ¿complexity > 1 o no está seguro de sí mismo?──sí──▶ humano
│no
▼
LLM de manejo de quejas¿Por qué no usar un prompt de gran modelo para enrutar directamente?
| Dimensión de comparación | Enrutado con prompt de LLM | Jev Enrutado por intención |
|---|---|---|
| Formato de retorno | Texto libre, que salga order_status o «consulta de pedido» es cuestión de suerte | Respuesta tipada, necesariamente una de las opciones predefinidas |
| Código de análisis | Regex + try/except + reintentos | Tomar el nombre de la opción y hacer if/elif directamente, cero análisis |
| Información más allá de la intención | Enviar otra solicitud y analizar una vez más | Añadir un Score en paralelo en la misma solicitud |
| Señal de incertidumbre | No se puede obtener | Cada respuesta incluye su propio confidence |
| Añadir una nueva intención | Modificar el prompt y volver a depurar | Añadir una opción a la solicitud y una rama al código de despacho |
Entonces, ¿por qué mantener la compuerta del confidence? Sin ella, las respuestas con probabilidad top1 de 0.52 y de 0.98 se ven exactamente iguales en tus manos. Si entre los cuatro tipos de mensajes se cuela uno que «pregunta por el pedido y además está muy alterado emocionalmente», la intención se divide entre order_status y complaint, y la respuesta igual te da un winner—solo que la probabilidad se reparte y el confidence cae. El gating te permite en ese momento elegir «mejor no hacer nada todavía».
La fórmula de cálculo del confidence y la interpretación completa de los tres niveles están en la lección Confidence 置信度; esta lección se centra en cómo usarlo para el enrutado.
Sígueme
Paso 1: definir las dos preguntas de clasificación de intención y complejidad
Por qué: para que el enrutado funcione, la condición previa es que las respuestas sean algo que el código pueda comparar directamente. Choice te da la intención «de entre cuatro opciones», y Score te da la regla de «qué tan complejo»—estos dos datos determinan respectivamente «a quién entregarlo» y «si puede automatizarse».
Estas son las dos definiciones de preguntas que da el Playground de la página oficial de patrones (extraídas de la página renderizada; las descripciones de las opciones son el texto oficial):
from typesafe_sdk import Choice, Score
ROUTING_QUESTIONS = {
"intent": Choice(
instructions="The primary intent of this customer message",
criteria={
"order_status": "Asking about an existing order",
"product_question": "Asking about a product before buying",
"return_exchange": "Wants to return or exchange something",
"complaint": "Unhappy with experience, wants resolution",
},
),
"complexity": Score(
instructions="How complex is this request to resolve",
criteria=[
"Simple lookup or standard procedure",
"Requires some judgment or multi-step process",
"Unusual situation, edge case, or escalation needed",
],
),
}Tres detalles:
- Las descripciones de las opciones deben distinguirse entre sí. El modelo ve los nombres y las descripciones de las opciones, no los IDs de las preguntas. Escribiendo «Asking about an existing order» (preguntar por un pedido existente) en vez de «relacionado con pedidos», las cuatro intenciones no se apiñan juntas
- El tercer nivel de la escala de complejidad es «escalation needed». El código de enrutado usa precisamente ese extremo como señal para escalar a un humano (paso 4)
- Cuando la lista puede no ser exhaustiva, añade opciones
other/none of the above, para que el modelo pueda decir «ninguna es»—recomendación oficial, ver la lección de Choice. En este ejemplo las cuatro intenciones cubren todas las entradas del sistema de ejemplo, así que no se añadieron
Deberías ver: en ROUTING_QUESTIONS dos preguntas, una Choice con cuatro opciones de intención y una Score con una escala de complejidad de tres niveles.
- Cada una de mis opciones de intención tiene una descripción que la distingue de las demás
Paso 2: obtener dos respuestas tipadas en una sola solicitud
Por qué: la intención y la complejidad no dependen una de otra—como se explicó en la lección anterior, las preguntas independientes deben fusionarse en una sola solicitud: casi no aumenta el tiempo de respuesta y solo cuesta unos pocos tokens más por pregunta.
Crea un nuevo smart_route.py, conéctalo con la definición de preguntas del paso 1, y envía un mensaje claro para probar:
from typesafe_sdk import TypeSafeClient
# ROUTING_QUESTIONS 的定义见第 1 步,此处省略
message = "Hi, where is my order? It was supposed to arrive last Tuesday and tracking hasn't updated."
with TypeSafeClient() as client:
response = client.system_one(
state=message,
questions=ROUTING_QUESTIONS,
)
intent = response.answers["intent"]
complexity = response.answers["complexity"]
print(intent.choice, intent.confidence)
print(complexity.score, complexity.confidence)Ejecútalo:
.venv/bin/python smart_route.pyDeberías ver: la primera línea es order_status con un confidence cercano a 1.0—este mensaje tiene una sola intención clara, así que la probabilidad se concentra por completo en esa opción (en el ejemplo del quickstart oficial, ese ticket que solo habla de un error 500 de la API, el confidence de department es justamente 1.0). La segunda línea es la puntuación de complejidad con su propio confidence; en este paso solo se obtiene, y se usará en el paso 4. Los valores concretos son los de tu respuesta real y pueden variar según la versión de Jev.
Cambia a un mensaje de intenciones mixtas y vuelve a ejecutar:
message = "This is the third time I'm writing and nobody has replied. Where is my order? I'm done waiting — I want my money back."Deberías ver: intent.choice seguirá dando el nombre de un ganador (debe hacerlo—choice siempre es la opción con mayor probabilidad), pero esta vez la probabilidad se reparte entre order_status / return_exchange / complaint varias opciones, y intent.confidence cae notablemente. La documentación oficial de la lección de Choice registra un caso similar: un ticket que menciona a la vez un error de talla y un cobro duplicado, returns 0.61 / billing 0.35, confidence de solo 0.42—el mensaje pertenece a dos equipos, y la distribución se divide honestamente.
Ese confidence que cae es justamente la señal que consumirá la compuerta del paso 3.
- Mensaje claro: confidence alto; mensaje mixto: confidence cae notablemente
Paso 3: escribir el código de despacho del enrutado por intención de Jev
Por qué: la esencia del enrutado es un if/elif—con la condición de que las respuestas sean lo bastante limpias como para no necesitar análisis. Jev garantiza que choice será necesariamente una de las opciones de criteria, así que el código de despacho puede enumerarlas todas.
A continuación, el código tal cual de route_ticket de la página oficial de patrones (docs/patterns/intent-routing.md). Las funciones de manejo (handle_order_status, handle_with_llm, etc.) son nombres oficiales de marcador de posición; reemplázalos por tu propia lógica de negocio:
def route_ticket(ticket_id, response):
intent = response.answers["intent"]
complexity = response.answers["complexity"]
if intent.confidence < 0.5:
# If we don't have enough confidence to classify, route to a human agent
return route_to_human_agent(ticket_id)
if intent.choice == "order_status":
handle_order_status(ticket_id)
elif intent.choice == "product_question":
handle_with_llm(ticket_id, PRODUCT_SPECIALIST)
elif intent.choice == "return_exchange":
handle_with_llm(ticket_id, RETURNS_SPECIALIST)
elif intent.choice == "complaint":
low_confidence = complexity.confidence < 0.5
# A higher complexity.score leans toward the "escalation needed" end of the scale.
if complexity.score > 1 or low_confidence:
# Too complex for safe automation, or we're not sure about the complexity; route to a human.
route_to_human_agent(ticket_id)
else:
handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)Ejecútalo con los dos mensajes del paso 2:
route_ticket("T-1024", response)Deberías ver:
- Mensaje claro (order_status, confidence alto) → la rama que va a humano no se dispara, se entrega a
handle_order_status—código determinista, una consulta a la base de datos y queda respondido, cero participación de LLM - Mensaje mixto (confidence cae por debajo de 0.5) → directamente
route_to_human_agent, el error se intercepta antes de ejecutarse
Lee la estructura de este código: las cuatro ramas corresponden exactamente a tres tipos de manejadores:
| intent | Manejador | Coste |
|---|---|---|
order_status | Código determinista (consulta de pedido) | El más barato, sin LLM |
product_question / return_exchange | Su respectivo LLM experto | Cada uno cargado con un contexto de dominio distinto |
complaint (complejo o sin certeza) | humano | el más caro, reservado solo para lo que realmente lo necesita |
El resumen oficial de este código: la clasificación se completa en una sola llamada rápida, y los recursos costosos solo se activan para las solicitudes que realmente los necesitan.
- En mi código de enrutamiento, la primera ruta es «confidence insuficiente → humano», no la distribución directa
Paso 4: añadir una segunda compuerta de complejidad a la rama complaint
Por qué: la compuerta del paso 3 solo miró la certeza de la intención en sí. Pero algunas intenciones naturalmente requieren preguntar un nivel más: una queja puede ser «un desahogo porque la logística va lenta» o también «una amenaza de exponerlo en redes sociales» — la misma etiqueta de intención, con costos de manejo radicalmente distintos. Esta capa de juicio se confía a la respuesta complexity ya obtenida en la misma solicitud, sin una segunda llamada.
Revisemos la rama complaint en el código del paso 3:
elif intent.choice == "complaint":
low_confidence = complexity.confidence < 0.5
# A higher complexity.score leans toward the "escalation needed" end of the scale.
if complexity.score > 1 or low_confidence:
# Too complex for safe automation, or we're not sure about the complexity; route to a human.
route_to_human_agent(ticket_id)
else:
handle_with_llm(ticket_id, COMPLAINT_RESOLUTION)Dos condiciones de compuerta, cada una intercepta un caso:
complexity.score > 1: la puntuación superó el nivel intermedio, inclinándose hacia el extremo «escalation needed» de la escala — lo que podría automatizarse, pero no se atreve a automatizar, se deriva a humanocomplexity.confidence < 0.5: ni siquiera la complejidad misma se evaluó con claridad — información insuficiente, también se deriva a humano
El oficial recuerda especialmente tras este código: para las respuestas de Score hay que hacer igualmente una verificación de confidence, y el significado de una confidence baja debe leerse en el contexto del sistema y el costo de la decisión.
Deberías ver: para el mensaje del paso 1 «es la tercera vez que escribo y nadie me responde, quiero mi dinero de vuelta», la intención probablemente cae en la zona de complaint; con complejidad alta o sin certeza, cae en la rama humana en lugar del LLM de quejas — se gasta un puesto humano más a cambio de un manejo seguro que no agrava la queja del cliente.
- Puedo explicar qué interceptan las dos condiciones de derivación a humano de la rama complaint: «demasiado complejo» y «sin certeza»
Paso 5: escalar el umbral de confianza según el riesgo (ejemplo del banco por voz)
Por qué: el umbral de 0.5 anterior servía de red de seguridad para «la clasificación en sí». Pero incluso con la clasificación correcta, diferentes acciones tienen distinta tolerancia al error: reproducir mal un saldo una vez se arregla con que el usuario lo escuche de nuevo; aprobar mal una transferencia es pérdida de fondos. La segunda página de patrones oficial convirtió esta lógica en el ejemplo del banco por voz.
Su pregunta de intención (también extraída del Playground oficial):
BANK_INTENT = Choice(
instructions="What action is the user requesting?",
criteria={
"check_balance": "Check the balance of an account",
"approve_transfer": "Approve the pending transfer request",
"other": "Something else",
},
)El código de la compuerta (tal cual el oficial, docs/patterns/confidence-routing.md):
action = response.answers["intent"]
# Below 0.6 confidence on any action, route to a human
if action.confidence < 0.6:
route_to_support_agent(account_id)
elif action.choice == "check_balance":
# Low stakes. 0.6 confidence is sufficient.
show_balance(account_id)
elif action.choice == "approve_transfer":
if action.confidence > 0.85:
# High stakes, but high confidence. Safe to act automatically.
approve_transfer(account_id)
else:
# High stakes, moderate confidence. Verify intent first.
ask_user_to_confirm("Just to confirm: you would like to approve this transfer, is that correct?")
else:
route_to_support_agent(account_id)El mismo conjunto de opciones, cuatro salidas, el threshold varía según el riesgo:
| Situación | Umbral | Salida |
|---|---|---|
| Cualquier acción, confidence < 0.6 | línea de seguridad | derivar a agente humano |
check_balance, ≥ 0.6 | bajo riesgo | reproducir el saldo directamente |
approve_transfer, 0.6–0.85 | alto riesgo, certeza media | confirmar verbalmente con el usuario antes de ejecutar |
approve_transfer, > 0.85 | alto riesgo, alta certeza | aprobación automática |
other (intención fuera de la lista) | — | derivar a agente humano |
La explicación oficial de este conjunto de números: la línea de seguridad de 0.6 captura todos los casos en que el modelo está realmente inseguro; por encima de esa línea, cada acción tiene su propio umbral según «el costo de ejecutarla mal» — consultar el saldo basta con 0.6, porque el peor caso es que el usuario escuche la lectura una vez más; aprobar una transferencia requiere 0.85 o más, de lo contrario el sistema debe confirmar primero.
Prueba estos tres comandos (sustituyendo el state y la definición de la pregunta del paso 2, enviando las solicitudes una por una):
for message in [
"What's my account balance?", # → check_balance
"Yes, go ahead and approve the transfer.", # → approve_transfer
"Can you help me with something else?", # → other
]:
response = client.system_one(state=message, questions={"intent": BANK_INTENT})
# …接下面的门控代码Deberías ver: el primero reproduce el saldo automáticamente; el segundo probablemente cae en una de las dos ramas: aprobación automática con > 0.85 o confirmar primero con 0.6–0.85 — ambas ramas son salidas válidas, y eso es justamente el sentido de la compuerta; el tercero va por else a humano.
No confundas los dos conjuntos de números: otro ejemplo oficial del mismo escenario (la sección «Thresholds scale with risk» de docs/confidence.md, también tratada en la lección de Confidence) usa 0.5 de red de seguridad / transferencia > 0.9. Ambos son ejemplos oficiales, con números distintos y el mismo patrón — la diferencia es en sí misma lo que el oficial quiere decir, y lo expresa claramente en el NOTE de la misma sección:
El umbral correcto depende de tu dominio y del rendimiento del modelo en tu caso de uso. Empieza con umbrales conservadores, prueba con tus propios datos y ajusta según lo que observes.
💡 Enrutamiento de mensajes en chino
El oficial indica que el inglés es el idioma principal de entrenamiento y el de mejor precisión; otros idiomas, incluido el chino, funcionan pero con menor precisión. Antes de poner en producción un sistema de enrutamiento para mensajes en chino, ejecuta primero un lote con tus propios datos y observa sobre todo la distribución de confidence — si la compuerta intercepta o deja pasar por error importa más que mirar si una respuesta individual es correcta o no.
Punto de control ✅
- Puedo explicar los dos pasos del enrutamiento inteligente: Choice/Score clasifica intención y complejidad, y confidence decide si se deja pasar
- Sé que hay tres tipos de manejo: código determinista (sin LLM), LLM experto y humano — y los intent adecuados para cada uno
- En mi código de enrutamiento, la primera ruta es la red de seguridad humana (p. ej.
intent.confidence < 0.5→ humano) - Sé que el umbral escala con el riesgo: para bajo riesgo basta 0.6, para alto riesgo (aprobación de transferencias) se requiere 0.85 o más
- Sé el orden oficial de diagnóstico cuando el enrutamiento no cumple lo esperado: revisar primero el umbral y la pregunta, no sospechar primero del modelo
Advertencias de errores comunes
❌ Establecer umbrales de confidence por todas partes
Llenar todas las rutas del código con el juicio «si es menor que X, derivar a humano» es el abuso más común. El recordatorio de la documentación oficial de agent-skill:
Si solo te interesa elegir la mejor opción, basta con elegir directamente la de mayor confidence (en lugar de establecer un umbral de confidence). Si tienes necesidades específicas de algoritmos estadísticos, lo más probable es que debas usar probabilities en lugar de confidence.
Cuándo sí usar compuertas: cuando la respuesta va a disparar una acción real y las acciones difieren en costo. En escenarios donde solo se ordena o solo se necesita el top1, basta con tomar choice directamente.
❌ El enrutamiento no cumple lo esperado y lo primero es cambiar la redacción de la pregunta
Síntomas: la tasa de recuperación está mal — lo que debía derivarse a humano no se deriva (falsos negativos), y lo que no debía derivarse se deriva (falsos positivos). El orden oficial de diagnóstico es revisar primero el umbral, luego la pregunta:
- Umbral demasiado alto → falsos negativos (muchos casos que debían automatizarse se derivan a humano)
- Umbral demasiado bajo → falsos positivos (muchos casos sin certeza se ejecutan automáticamente)
- Solo si el umbral de verdad no tiene problemas, escribe la pregunta de forma más específica (por ejemplo, si las descripciones de las opciones no se distinguen lo suficiente)
❌ Un solo umbral para todo un sistema
0.5 como red de seguridad de la clasificación, 0.6 para acciones de bajo riesgo, 0.85 para acciones de alto riesgo — en el ejemplo del banco por voz anterior estos tres números coexisten. El oficial dice claramente que «confidence threshold no es un solo número»: en un mismo sistema, acciones distintas tienen umbrales distintos según «el costo de equivocarse», y tu código refleja tu tolerancia al riesgo. Un sistema con un solo umbral, o intercepta demasiado (el volumen humano explota), o deja pasar demasiado (acciones de alto riesgo sin protección).
❌ La lista de intenciones no tiene una salida de «ninguna es correcta»
Cuando la lista de opciones no cubre todas las entradas, el modelo se ve obligado a elegir la menos mala de un conjunto equivocado — y lo hará con seguridad (las palabras textuales del oficial en el cookbook de function calling sobre la selección de parámetros: «sin una pregunta stated, choice debe elegir forzosamente un window, y lo elegirá con seguridad»). La forma correcta: si la lista puede estar incompleta, añade opciones other / none of the above, y da en el código una salida explícita para other (el else → 转人工 de arriba). El oficial también advierte que none of the above funciona regularmente en muchos escenarios; la alternativa es añadir en la misma solicitud un Noul acompañante que pregunte «¿este mensaje menciona alguno de nuestros productos?», y el código solo lee la respuesta de Choice cuando el Noul es yes.
Técnicas avanzadas (opcional)
Usar probabilities para hacer envío en copia a la segunda intención. Además del gating, probabilities también puede servir como señal de enrutamiento secundaria. El ejemplo de triage de cinco preguntas de la documentación oficial de Choice (un ticket que involucra a la vez devolución/cambio y cobro duplicado) contiene este fragmento:
# A second team with a real share of the probability gets a copy
for team, probability in answer.probabilities.items():
if team != answer.choice and probability > 0.25:
notify(ticket, team=team)El enrutamiento principal asigna al equipo de returns, y billing también recibe copia por obtener una cuota de probabilidad de 0.35 (que supera el umbral de 0.25) — una tercera vía más fina que «si la confidence es baja, pasa todo a humano»: la respuesta principal se ejecuta con normalidad y la segunda mejor respuesta se notifica a una persona. El registro oficial de ese ticket: asignado a returns (issue=wrong_size), billing recibe copia, y al cliente se le pregunta qué desea (la confidence de resolution, 0.20, es inferior a 0.5) — una sola solicitud, cinco respuestas, todo con gating.
Dos métricas de gating alternativas. Si la fórmula de confidence no te convence en tu escenario, la documentación oficial recomienda dos métricas calculadas igualmente a partir de probabilities: primero, la probabilidad top p_max (léase «qué tan probable es la opción elegida», con umbral ajustado según el número de opciones — 0.5 es débil con dos opciones y fuerte con diez); segundo, el ratio top-sobre-segundo p_max / p_second (mide la ventaja del primero sobre el segundo, ideal para escenarios de enrutamiento con «dos contendientes fuertes»).
Otras formas de la idea de gating. Este patrón de «respuesta + retroceder un nivel si la confianza no basta» admite más de una forma de retroceder:
- Clasificación sectorial de 75 categorías: los informes anuales de la SEC se dividen en 75 grupos sectoriales; si la confidence no llega a 0.9, se reporta la gran categoría (division) a la que pertenece — en pruebas oficiales con 60 documentos, la mitad segura acertó el 90% y la mitad insegura solo el 40%, que subió al 70% tras reportar la gran categoría
- Decisiones de Agent: elegir una habilidad para el agente entre 194 habilidades — dos solicitudes + dos umbrales redujeron a la mitad las cargas erróneas
- El manual oficial de how-to incluye además una versión mínima de gating (
confidence < 0.8pasa a revisión humana), cuatro líneas de código, ideal como tu primera versión
Resumen de esta lección
✅ Enrutamiento inteligente = enrutamiento por intención Jev + gating por confianza: Choice clasifica la intención, Score evalúa la complejidad, se obtienen en paralelo en una sola solicitud, y confidence decide si se deja pasar.
✅ Los tres tipos de gestores, cada uno en su lugar: código determinista para intenciones mecánicas (cero LLM), LLM experto para problemas del dominio, humano para baja confianza y alto riesgo.
✅ La estructura de gating es «línea de seguridad + umbral de riesgo»: toda acción pasa primero por la línea de seguridad (ejemplo: 0.5 / 0.6); superada la línea, cada acción recibe su propio umbral según su coste (consultar saldo 0.6, transferencia 0.85).
✅ Si la lista de intenciones puede estar incompleta, añade other / none of the above y dale una salida clara; cuando se obliga al modelo a elegir, «elige mal con confianza».
✅ Elegir solo la mejor opción no necesita umbral; para necesidades como ordenar o enviar copias, usa probabilities.
Consulta rápida de datos clave:
| Ítem | Valor | Fuente |
|---|---|---|
| Pregunta de intención instructions | The primary intent of this customer message | Playground oficial (patterns/intent-routing) |
| Opciones de intención | order_status / product_question / return_exchange / complaint | ídem |
| Fallback de clasificación | intent.confidence < 0.5 → humano | docs/patterns/intent-routing.md |
| Segundo gating de complaint | complexity.score > 1 o complexity.confidence < 0.5 → humano | ídem |
| Línea de seguridad bancaria | confidence < 0.6 → humano | docs/patterns/confidence-routing.md |
| Umbral de transferencia | > 0.85 ejecución automática, 0.6–0.85 confirmar primero | ídem |
Un sistema de enrutamiento es el típico caso de «Jev en la ruta crítica»; antes de salir a producción, repasa los nueve modos de fallo junto con el Jev 1.13 manual de trampas (especialmente los dos de comprensión literal y de detalles irrelevantes en estados grandes).
Avance de la próxima lección
El paso 4 usa un solo Score para evaluar la complejidad y ya permite recortar el volumen manual. La próxima lección lleva esta idea al máximo: puntuación compuesta: descomponer juicios complejos en puntuaciones atómicas y ponderarlas.
Aprenderás:
- Descomponer juicios complejos como «qué tan grave es esta queja» en múltiples preguntas atómicas de Score
- Normalizar (dividir entre el nivel máximo) para llevar puntuaciones de distintas escalas a una misma escala
- Combinar ponderadamente la puntuación total en código; los pesos son la postura ante el riesgo
- Cuando la ordenación no es la esperada, cambiar solo las constantes de peso, sin tocar ningún prompt