Autoconsistencia: añadir una salida de «incierto» al sistema de moderación
💡 Resumen en una frase: usa Jev para darle al sistema de moderación una salida de decisión que «se atreve a decir que no sabe»: el chequeo repetido encuentra las preguntas que cambian, la probabilidad top fija el umbral y toda la zona intermedia pasa a revisión humana.
La «autoconsistencia (self-consistency)» pregunta una sola cosa: el mismo contenido, el mismo conjunto de preguntas, preguntado dos veces, ¿da la misma respuesta? Para esto, el equipo oficial hizo un conjunto de experimentos (versión choices, versión nouls): tomaron una publicación comunitaria que no se decanta por ningún lado y la evaluaron 15 veces con 8 preguntas de moderación Choice; luego tomaron un parte de seguro de auto controvertido y lo evaluaron 15 veces con 14 preguntas Noul.
La conclusión tiene dos caras. Las preguntas estables son realmente estables: a quién apunta la publicación y qué gravedad tiene, fueron consistentes las 15 veces. Las preguntas críticas cambian: en la pregunta del riesgo principal hubo una división de 11:4 entre Harassment y Violence, y cuando cambia, la probabilidad siempre es baja. Por eso la solución oficial no es eliminar la oscilación, sino añadirle al sistema una salida de «incierto (uncertain)»: las respuestas cuya probabilidad no es lo bastante alta no se ejecutan automáticamente, pasan a humano. Esta lección dura unos 15 minutos y te guía para poner en marcha todo el conjunto.
Qué podrás hacer al terminar
- Construir un script de decisión de contenido con salida de «incierto»: 4 preguntas Choice de moderación, y si la probabilidad top es inferior a 0.60 pasa automáticamente a humano
- Escribir un script de chequeo de autoconsistencia: el mismo contenido con uid nuevo repetido 15 veces, estadística de qué preguntas cambian de etiqueta
- Añadir una banda de incertidumbre a los juicios de sí/no de Noul: lo que caiga entre 0.30–0.70 pasa siempre a humano
- Entender los límites del experimento oficial: 99.2% es «consistencia», no «exactitud», y el 25.8% de derivación a humanos es una cifra para ponderar
Por qué usar Jev y no muestreo repetido de un LLM normal
| Capacidad | Muestreo repetido de LLM normal | Jev |
|---|---|---|
| De dónde sale la probabilidad | Hacer que el modelo escriba la probabilidad como JSON y luego analizarla, con 0–1% de fallos de análisis, y además hay que quitar las vallas de código | Cada pregunta trae su distribución probabilities, y choice es la opción de mayor probabilidad |
| Salida de incertidumbre | El modo de opción única solo da etiquetas fijas, sin estimación de incertidumbre, y nunca se abstiene | Si la probabilidad top es inferior a 0.60 se marca uncertain, pura lógica de código, sin llamadas extra al modelo |
| Varias preguntas en una petición | 8 preguntas apretadas en un solo prompt, la respuesta de una se convierte en contexto de otra | Evaluación en paralelo e independiente del mismo state, añadir preguntas casi no aumenta el tiempo de respuesta |
| Tasa de consistencia tras la salida | 84.2%–94.2% (Haiku con t=0 da 100%, pero nunca se abstiene) | 99.2% (coste: 25.8% pasa a humano) |
| Velocidad y coste | Modo probabilístico, unos 2–13 segundos, $0.002–$0.041 por vez | 114ms, $0.000046 por vez |
| Fiabilidad de la probabilidad | El objetivo del entrenamiento es generar texto, la probabilidad no tiene garantía de calibración | Entrenamiento calibrado con RLCD: lo marcado como 0.2 ocurre alrededor del 20% |
Los números provienen de la comparación en un mismo escenario del cookbook oficial (muestreo 2026-09-11); el grupo de control LLM incluye claude-haiku-4-5, gpt-5.4-mini (t=0 y temperatura por defecto), gpt-5.5 y claude-opus-4-8. Tres notas de equidad: los costos son precios históricos supuestos al momento del experimento, no las tarifas vigentes; las tarifas actuales están en modelos y precios; la latencia del grupo LLM se midió con 16 hilos en concurrente y la del grupo Jev en secuencia, y aun así la diferencia es de órdenes de magnitud; la calibración describe la tasa de acierto de un conjunto de predicciones (lo marcado como 0.2 ocurre alrededor del 20%), no una garantía sobre una respuesta individual.
Y una verdad más: en los datos oficiales, la fluctuación de probabilidad de claude-haiku-4-5 con t=0 (0.0012) es incluso menor que la de Jev (0.0098), con 15 veces totalmente consistentes. Pero nunca se abstiene: no tienes ninguna señal para saber qué vez conviene pasar a humano. Jev no vale por «más estable», sino por «la estabilidad se ve y se puede derivar a humanos».
Tu dilema actual
- «La misma publicación denunciada: esta ronda de moderación la deja pasar y la siguiente la elimina. El usuario llega con capturas de pantalla a reclamar: ¿sus criterios son una tirada de dados?»
- 「El umbral está en 0.5, con probabilidad 0.49 rechaza la reclamación, con 0.51 paga——pero estos dos números hablan en realidad de lo mismo」
- 「Quería ejecutar 3 rondas de votación para alinear, y un prompt con 8 preguntas tarda de 2 a 13 segundos; en horas pico la cola se atasca por completo, y de vez en cuando falla el análisis de JSON」
Cuándo usar esta técnica
Cuando necesitas:
- Que el sistema de moderación dé la misma decisión cada vez para el mismo contenido
- Que el contenido fronterizo tenga un destino claro: pasar a revisión humana, en lugar de un dos-por-tres al azar
- Que la probabilidad dirija directamente la ramificación del código, en lugar de volver a analizar el texto que escupe el modelo
Y además no quieres:
- Escribir reglas de palabras clave fijas, que se esquivan con facilidad cambiando la redacción
- Ejecutar N rondas de votación por cada contenido——caro y lento, y además introduce nuevos puntos de fallo en el análisis
- Dejar que el modelo ejecute automáticamente operaciones irreversibles como eliminar publicaciones o bloquear cuentas cuando no tiene certeza
🎒 Preparativos antes de empezar
- has completado Noul preguntas de sí/no: sabes que
noules una probabilidad 0–1, que no hay campo confidence, y que el umbral inicial es yes ≥ 0.7 / no ≤ 0.3 - has completado Confidence (confianza): sabes el uso de los tres niveles——alta confianza ejecuta automáticamente, media confirma o marca, baja pasa a revisión humana
- has logrado ejecutarla primera petición:
.venvtiene instaladotypesafe-sdkyTYPESAFE_API_KEYya está en las variables de entorno
Hazlo conmigo
Paso 1: diseñar la rúbrica de moderación (4 preguntas Choice para examinar a fondo una publicación fronteriza)
Por qué: si se añade una salida, y dónde, depende de la forma de las respuestas de cada pregunta. En la rúbrica oficial de 8 preguntas hay unas estables (target, severity, 15 veces totalmente consistentes) y otras que se voltean (primary_risk, link_handling). Elegimos primero 4 representativas, y en 15 minutos lo dejamos funcionando.
Crea moderation_uncertain.py y pega el código siguiente. La publicación son los datos fronterizos originales del cookbook oficial: lenguaje agresivo, la mitad dirigida a personas y la mitad a opiniones, con un enlace de invitación externo, un antecedente, y denunciada por usuarios 4 veces——no hay una única respuesta correcta, y ese es justamente el punto: pequeñas diferencias de redacción no deberían cambiar al azar su ruta de decisión.
# moderation_uncertain.py —— 给审核系统加「不确定」出口
# 依赖:pip install typesafe-sdk(Python 3.10+),环境变量里已有 TYPESAFE_API_KEY
from typesafe_sdk import Choice, TypeSafeClient
# 自动执行阈值:最高概率 >= 0.60 才动手,否则转人工。
# 官方原注释:illustrative automatic-action threshold(示例策略,不是标定保证)
MIN_CHOICE_PROBABILITY = 0.60
# ── 1. 边界帖子:官方 cookbook 原样数据 ──
POST = {
"post_id": "P-88213",
"author": {
"user_id": "u/4471",
"account_age_days": 38,
"prior_strikes": 1,
"followers": 210,
},
"context": {
"surface": "public reply",
"in_reply_to": "another user defending a game patch",
"community": "r/gamedebates",
},
"content": {
"text": (
"Are you seriously this dense? Anyone who defends that patch is a complete clown and "
"should be embarrassed to even post here. People like you are what's ruining this "
"community and honestly you need to be dealt with. Come say it to my face, invite's "
"right here. Keep it up and I'll end your whole channel."
),
"has_link": True,
"link_domain": "discord.gg",
"language": "en",
},
"reports": {"user_reports": 4, "report_reasons": ["harassment", "spam", "threat"]},
}
# ── 2. 审核题:从官方 8 问里挑 4 道 ──
# category 是临界题,primary_risk 是必转人工题,target / severity 是「稳」的对照
QUESTIONS = {
"category": Choice(
instructions="What is the single most applicable content-policy category for this post?",
criteria={
"None": "No policy violation of any kind.",
"Harass": "Insults or demeans a person, with no threat of harm and no protected-class attack.",
"Hate": "Attacks a person or group over a protected characteristic (race, religion, gender, ...).",
"Violence": "Makes a credible threat of harm or incites violence against someone.",
"Spam": "Unsolicited promotion or link spam, with no personal attack.",
"Sexual": "Sexual or adult content.",
},
),
"primary_risk": Choice(
instructions="What is the primary moderation risk that should drive triage for this post?",
criteria={
"Harassment": "Personal attack or targeted abuse is the main risk.",
"Violence": "A threat of harm or intimidation is the main risk.",
"LinkAbuse": "External-link or off-platform coordination risk is the main risk.",
"AccountHistory": "Prior account history or repeat behavior is the main risk.",
"LowRisk": "No meaningful moderation risk is present.",
},
),
"target": Choice(
instructions="Who or what is the content primarily directed at?",
criteria={
"None": "Not directed at anyone in particular.",
"Person": "Directed at one specific individual.",
"Group": "Directed at a protected group or class.",
"Platform": "Directed at the community or platform itself, not a person.",
},
),
"severity": Choice(
instructions="What is the overall severity of this post?",
criteria={
"None": "No violation.",
"Low": "Rude or dismissive, but essentially harmless.",
"Medium": "Personal harassment with no clearly credible threat.",
"High": "Harassment together with a threat that could be read as credible.",
},
),
}
# ── 3. 客户端:自动读环境变量 TYPESAFE_API_KEY,默认走官方端点 ──
client = TypeSafeClient(model="jev-latest")Las instructions y las descripciones de opciones provienen literalmente del cookbook oficial. Las opciones de cada pregunta son excluyentes y cubren los casos principales——los id de pregunta (category y similares) no se envían al modelo; las preguntas completas están todas en instructions, así es como se escribe la rúbrica oficial.
Paso 2: preguntar las 4 preguntas en una sola petición, y decidir con la probabilidad top 「ejecutar o pasar a humano」
Por qué: todas las preguntas del mismo state se envían de una vez, y Jev evalúa cada pregunta en paralelo e independientemente——añadir preguntas casi no aumenta el tiempo de respuesta, solo gasta unos tokens más. Esta es la diferencia esencial con 「meter 8 preguntas en un solo prompt」: la respuesta de una pregunta no se convierte en contexto de otra. Continúa escribiendo sobre el código anterior:
# ── 4. 出口判定:top 概率 >= 0.60 → 自动执行;否则 uncertain → 转人工 ──
# answer.choice 本身就是最高概率选项,answer.probabilities 是完整概率分布
def choice_decision_with_uncertainty(answer) -> str:
p_max = max(answer.probabilities.values())
return answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"
def run_once() -> None:
response = client.system_one(
state={"post": POST},
questions=QUESTIONS,
)
for key in QUESTIONS:
answer = response.answers[key]
p_max = max(answer.probabilities.values())
decision = choice_decision_with_uncertainty(answer)
if decision == "uncertain":
print(f"{key:<13} uncertain(p_max={p_max:.2f})→ 转人工")
# 换成你的转人工逻辑,比如 create_review_ticket(POST, key)
else:
print(f"{key:<13} {decision}(p_max={p_max:.2f})→ 自动执行")
# 换成你的执行逻辑,比如 enforce(POST, key, decision)
if __name__ == "__main__":
run_once()Ejecuta:
.venv/bin/python moderation_uncertain.pyDeberías ver (salida de ejemplo——la tendencia de las etiquetas coincide con las mediciones oficiales; los valores de probabilidad tendrán pequeñas variaciones cada vez):
category Violence (p_max=0.63) → ejecución automática
primary_risk uncertain (p_max=0.55) → pasar a humano
target Person (p_max=0.97) → ejecución automática
severity High (p_max=0.91) → ejecución automáticatarget y severity tienen probabilidad alta y se ejecutan directamente; primary_risk no supera la probabilidad 0.60 y queda atrapado por la salida——en las 15 mediciones oficiales, la probabilidad máxima de esta pregunta fue siempre inferior a 0.60. De paso: response.answers["category"] y response.choices["category"] apuntan al mismo objeto de respuesta; en esta página usamos uniformemente answers, igual que el cookbook oficial.
💡 Este es el valor único de Jev
La decisión de la salida usa las probabilities devueltas, no un campo confidence adicional de la API, ni requiere ninguna llamada extra al modelo. Para un LLM normal hacer lo mismo, habría que hacer que el modelo 「diga」 las probabilidades como texto y luego analizarlas; en el experimento oficial, el grupo LLM tuvo una tasa de fallo de análisis de 0–1%. Añadir preguntas sin añadir peticiones, añadir salidas sin añadir llamadas——estos dos 「sin añadir」 los da directamente la probabilidad tipada. El desarrollo completo de las preguntas en paralelo está en la lección Preguntas paralelas y fan-out especulativo.
💡 Atención con contenido en chino
La nota oficial: el inglés es el idioma principal de entrenamiento; otros idiomas, incluido el chino, funcionan pero con menor precisión. Antes de llevar a producción un escenario de moderación en chino, ejecuta primero un lote con tus propios datos reales, mirando sobre todo la confidence y la distribución de probabilidades, y luego fija el umbral.
- obtuve 4 líneas de decisión, de las cuales al menos una es uncertain (si las 4 líneas son todas de ejecución automática, cambia la publicación por una muestra más crítica de tu propio negocio y vuelve a ejecutar)
Paso 3: repetir 15 veces y hacer un chequeo de autoconsistencia de Jev
Por qué: dónde poner la salida no debería decidirse a ojo. El enfoque oficial es repetir tal cual la misma pregunta——mismo contenido, mismo conjunto de preguntas——15 veces, y ver qué etiquetas se voltean——a las preguntas que se voltean, o se les da una salida o se reescriben. En cada llamada se pone en el state un uid nuevo (un valor aleatorio de un solo uso): la publicación y las preguntas no cambian ni una letra, solo se cambia este campo irrelevante, para que cada llamada sea un muestreo independiente.
Crea consistency_probe.py (reutilizando las definiciones del archivo anterior——run_once está protegido por __main__, el import no volverá a enviar peticiones):
# consistency_probe.py —— 自一致性体检:同一条帖子重复问 15 次
from collections import Counter
from secrets import token_hex
from moderation_uncertain import (
MIN_CHOICE_PROBABILITY,
POST,
QUESTIONS,
client,
)
NUM_SAMPLES = 15 # 官方实验的重复次数
raw_counts = {key: Counter() for key in QUESTIONS} # 每次调用的原始最高概率标签
decision_counts = {key: Counter() for key in QUESTIONS} # 加 0.60 出口后的应用决策
for sample_index in range(NUM_SAMPLES):
# 帖子与题目一字不改,只换 state 里的一次性 uid —— 让每次调用都是独立抽样
response = client.system_one(
state={"uid": f"{sample_index}:{token_hex(4)}", "post": POST},
questions=QUESTIONS,
)
for key in QUESTIONS:
answer = response.answers[key]
p_max = max(answer.probabilities.values())
raw_counts[key][answer.choice] += 1
decision = answer.choice if p_max >= MIN_CHOICE_PROBABILITY else "uncertain"
decision_counts[key][decision] += 1
print(f"requested: jev-latest, returned: {response.model}")
for key in QUESTIONS:
raw = dict(raw_counts[key])
decisions = dict(decision_counts[key])
status = "标签翻转!" if len(raw) > 1 else "标签稳定"
print(f"{key:<13} 原始标签 {raw} 应用决策 {decisions} {status}")Ejecuta:
.venv/bin/python consistency_probe.pyDeberías ver (una ejecución de ejemplo; los conteos concretos varían cada vez. Medición oficial de la versión de 8 preguntas: primary_risk se divide entre Harassment 11 veces / Violence 4 veces, target 15 veces siempre Person, severity 15 veces siempre High, y la decisión aplicada de category oscila entre Violence y uncertain):
requested: jev-latest, returned: jev-1.14.0
category etiqueta original {'Violence': 15} decisión aplicada {'Violence': 12, 'uncertain': 3} etiqueta estable
primary_risk etiqueta original {'Harassment': 11, 'Violence': 4} decisión aplicada {'uncertain': 15} ¡etiqueta volteada!
target etiqueta original {'Person': 15} decisión aplicada {'Person': 15} etiqueta estable
severity etiqueta original {'High': 15} decisión aplicada {'High': 15} etiqueta estableTres cosas que vale la pena vigilar:
- Si la etiqueta original se volta o no: la etiqueta original de
primary_riskse divide entre dos etiquetas——sin salida, la misma publicación se enrutaría a colas distintas, y esa es la raíz de que un sistema de moderación 「tire los dados」. - ¿Atrapó la salida este caso?: tras añadir la salida de 0.60, esta pregunta pasó en las 15 veces a uncertain en su totalidad—ya no son dos etiquetas concretas peleando, sino un envío unificado a revisión humana.
- Versión del modelo que devuelve: los experimentos oficiales se muestrearon en 2026-09-11, cuando
jev-latestse resolvía ajev-1.13.0; hoy el alias ya apunta a una versión nueva, y los conteos que veas serán distintos—esto no es un fallo, es lo normal.response.modelpermite verificar la versión de cada respuesta; para sistemas con umbrales ajustados, la recomendación oficial es fijar el ID de versión en lugar de usar el alias.
uid es un instrumento de chequeo, no un parámetro de la API—es simplemente un campo ordinario dentro de state. La advertencia oficial: esta configuración no distingue entre «el modelo es sensible a este campo irrelevante» y «la fluctuación inherente de la misma petición», así que no metas el uid en las llamadas de producción.
Paso 4: definir la estrategia de salida con los resultados del chequeo
Por qué: el chequeo no es para obtener una puntuación, sino para dividir las preguntas en dos clases—las estables se ejecutan automáticamente para ahorrar trabajo, y las que se voltean son las que necesitan salida o reescritura. Los datos completos de la versión de 8 preguntas de la guía oficial se pueden consultar directamente:
| Métrica | Valor | Significado |
|---|---|---|
| Tasa de consistencia original | 90.8% | Sin salida, promedio de la proporción de la etiqueta más frecuente por pregunta |
| Tasa de consistencia tras la salida | 99.2% | Consistencia tras marcar como uncertain cuando la probabilidad top es inferior a 0.60 |
| Proporción enviada a humano | 25.8% | De 8 preguntas × 15 repeticiones, la proporción atrapada por la salida |
| Proporción de ejecución automática | 74.2% | Proporción con probabilidad por encima de 0.60 que pasa directamente a la acción |
Lectura clave: la salida convierte «dos etiquetas concretas peleando» en «un envío unificado a humano». En las pruebas oficiales, tras añadir la salida ninguna pregunta dio dos etiquetas concretas distintas en repeticiones diferentes (conflicts = 0)—todas las preguntas cuya etiqueta original se volteaba fueron atrapadas por la salida. El costo es que un cuarto de las respuestas entra en la cola humana; si esa proporción vale la pena hay que calcularlo con los costos de «ejecutar automáticamente de forma errónea» y «revisar manualmente un caso» en tu propio negocio.
Deberías ver: tu propio rubric dividido en dos grupos—las preguntas cuya etiqueta original no cambió en 15 repeticiones (ejecución automática directa), y las que se voltean o son atrapadas repetidamente (añadir salida, o volver atrás y reescribir la pregunta).
- Puedo decir qué preguntas de mi rubric necesitan salida y cuáles pueden ejecutarse automáticamente
Paso 5: añadir una banda de incertidumbre a las preguntas sí/no de Noul (0.30–0.70 a humano)
Por qué: las preguntas sí/no no tienen distribución de múltiples opciones, y los dos lados de 0.5 son dos acciones. En el ejemplo de siniestros del cookbook oficial de noul, la pregunta «¿está la pérdida cubierta?» tuvo en 15 repeticiones una probabilidad oscilando entre 0.43–0.53—0.49 rechazar el pago, 0.51 pagar, acciones completamente opuestas, y sin embargo ambas son lo mismo. La solución es convertir el umbral en una banda de incertidumbre: **por debajo de 0.30 cuenta como no, de 0.30 a 0.70 (incluyendo ambos extremos) cuenta como uncertain y va a humano, y solo por encima de 0.70 cuenta como sí. ** Es el mismo esquema que el umbral de partida de la lección de Noul (sí ≥ 0.7, no ≤ 0.3).
Crea noul_uncertain.py:
# noul_uncertain.py —— Noul 版出口:0.30–0.70 闭区间 → uncertain 转人工
from typesafe_sdk import Noul
from moderation_uncertain import POST, client
# 两个边界值逐字来自官方 noul cookbook
NOUL_UNCERTAINTY_LOW = 0.30
NOUL_UNCERTAINTY_HIGH = 0.70
def noul_decision_with_uncertainty(probability: float) -> str:
"""把 noul 概率映射成三段决策;0.30–0.70(含两端)算 uncertain。"""
if probability < NOUL_UNCERTAINTY_LOW:
return "no"
if probability > NOUL_UNCERTAINTY_HIGH:
return "yes"
return "uncertain"
# 问句方向要正:yes = 命中你要检查的事
NOUL_QUESTIONS = {
"threat": Noul(
instructions="Does the post make a credible threat of harm against a person?"
),
"targeted_insult": Noul(
instructions="Does the post insult or demean a specific person?"
),
}
response = client.system_one(
state={"post": POST},
questions=NOUL_QUESTIONS,
)
for key in NOUL_QUESTIONS:
probability = response.answers[key].noul
decision = noul_decision_with_uncertainty(probability)
if decision == "uncertain":
# 转人工是纯应用层逻辑:不加问题、不加第二次 API 调用(官方原话)
print(f"{key:<15} noul={probability:.2f} → uncertain,转人工")
else:
print(f"{key:<15} noul={probability:.2f} → {decision},自动执行")Ejecuta:
.venv/bin/python noul_uncertain.pyDeberías ver (salida de ejemplo):
threat noul=0.48 → uncertain,转人工
targeted_insult noul=0.93 → yes,自动执行El 0.48 de threat retrata exactamente esta publicación—el lenguaje amenazante nunca quedó claro, el modelo no toma partido, y la salida lo envía a la cola humana. Las dos advertencias oficiales, copiadas tal cual: primera, esta banda sigue teniendo bordes, 0.71 y 0.69 oscilarán entre sí y uncertain, y añadir la banda no equivale a que el modelo se vuelva certero; segunda, 0.30/0.70 también son valores de ejemplo, y los límites de producción deben definirse con tus propios datos anotados, combinando «el costo de una decisión errónea» y «el costo de la revisión humana».
📋 Prompt mágico
El «Prompt» de esta página es una plantilla de preguntas para la API—cópiala, sustituye los marcadores 【】 (los que llevan ? son opcionales) y ya se puede usar.
📝 Rubric de moderación de contenido (versión Choice)
Efecto esperado: descomponer los estándares de moderación de una comunidad/plataforma en preguntas Choice mutuamente excluyentes, evaluarlas en paralelo en una sola petición, cada pregunta con su propia probabilidad, conectando directamente a la salida de 0.60.
from typesafe_sdk import Choice
# 必填项:【】里换成你平台的真实规则
MODERATION_QUESTIONS = {
"category": Choice(
instructions="【一句话问题:这条内容最适用哪条平台政策?】",
criteria={
"【选项 A】": "【什么情形算 A——写成可对照的情境,不写「轻微」「严重」这类程度词】",
"【选项 B】": "【什么情形算 B】",
"【选项 C】": "【什么情形算 C】",
"other": "【以上都不是、但确实需要有人看的情形?】",
},
),
"action": Choice(
instructions="【这条内容该做什么处置?】",
criteria={
"Allow": "【放行,不动作】",
"Warn": "【放行但挂警示标签】",
"Remove": "【删除内容,不动账号】",
"Escalate": "【不自动处置,等人工判断】",
},
),
"severity": Choice(
instructions="【整体严重程度如何?每级写成情境】",
criteria={
"None": "【没有违规的情形】",
"Low": "【粗鲁但基本无害的情形】",
"Medium": "【人身攻击、但无明确可信威胁的情形】",
"High": "【攻击伴随可信威胁的情形】",
},
),
# 选填项:链接处置、目标对象、队列路由——官方 8 问都是现成参考?
}
# 输出规范:response.answers["category"].choice / .probabilities / .confidence
# 约束条件:
# ✅ 一道题只测一个维度;选项互斥、并集覆盖常见情形
# ✅ 每个选项描述写成「可对照的情境」,和 state 里的内容对得上
# ❌ 不要把「uncertain」做成一个选项——出口是代码层的,不是模型标签
# ❌ 不要在 instructions 里塞数字量表——测程度是 Score 的活✅ Lista de control sí/no (versión Noul)
Efecto esperado: descomponer las líneas rojas de moderación en una serie de preguntas sí/no, cada una con probabilidad 0–1; todo lo que caiga en la banda 0.30–0.70 va a humano, y ambos lados se ejecutan automáticamente.
from typesafe_sdk import Noul, NoulCriteria
# 必填项:每句都问「是否命中要查的事」,yes 就是命中
NOUL_QUESTIONS = {
"threat": Noul(
instructions="【内容是否对具体的人发出可信的伤害威胁?】"
),
"doxxing": Noul(
instructions="【内容是否泄露他人未公开的个人信息(住址、电话、证件号)?】"
),
"spam": Noul(
instructions="【内容是否为未经请求的推广或引流?】",
# 选填项:边界模糊的题加 criteria,把 yes/no 的定义钉死?
# criteria=NoulCriteria(
# true="【什么算命中】",
# false="【什么算不命中】",
# ),
),
# 选填项:往清单里加题不影响请求结构,Jev 对每题并行独立评估?
}
# 输出规范:response.answers["threat"].noul → 0–1 概率,没有 confidence
# 约束条件:
# ✅ 问句方向要正:yes = 命中要检查的事
# ✅ 「多严重」这类程度问题交给 Score 题,别硬塞给 Noul
# ❌ 不要拿 0.5 当硬阈值——0.49 和 0.51 会触发相反动作🔧 Script de chequeo de autoconsistencia
Efecto esperado: ejecutar repetidamente el mismo rubric sobre un lote de muestras límite y hacer estadísticas del volteo de etiquetas de cada pregunta—para encontrar antes de lanzar las preguntas que necesitan salida o reescritura.
from collections import Counter
from secrets import token_hex
# 必填项:【】里换成你的体检参数
NUM_SAMPLES = 【重复次数,官方用 15】
SAMPLES = 【你的边界样本列表:挑真实业务里最难判的 10–30 条】
flip_report = []
for sample_index, sample in enumerate(SAMPLES):
raw_counts = {key: Counter() for key in QUESTIONS} # QUESTIONS 用上面两个模板之一
for i in range(NUM_SAMPLES):
response = client.system_one(
model="【jev-latest,或锁定的版本 ID】",
state={"uid": f"{i}:{token_hex(4)}", "post": sample},
questions=QUESTIONS,
)
for key in QUESTIONS:
raw_counts[key][response.answers[key].choice] += 1
flip_report.append({
"sample_index": sample_index,
"labels": {key: dict(counts) for key, counts in raw_counts.items()},
})
# 输出规范:每条样本 × 每道题的标签计数;出现超过 1 个标签 = 该题对该样本会翻
# 约束条件:
# ✅ 每次调用换新 uid,样本与题目一字不改
# ✅ 体检结果只用于「改问题、定出口」,别当准确率宣传
# ❌ 别把 uid 带进生产调用——它是实验装置Punto de control ✅
moderation_uncertain.pyobtiene 4 filas de veredicto, y las preguntas cuya probabilidad no supera 0.60 quedan marcadas como uncertain- en
consistency_probe.pycambié el uid en cada llamada, sin alterar ni una palabra de la publicación ni de la pregunta - sé que 0.60 y 0.30/0.70 son umbrales de ejemplo dados por la oficial (illustrative), y que los umbrales de producción deben definirse con datos anotados propios
- sé que el experimento oficial mide «estabilidad», no «corrección»—99.2% es tasa de consistencia, no de exactitud
- en la cola humana se pueden ver las probabilidades originales, no solo una etiqueta uncertain
Advertencias sobre errores comunes
❌ Tomar temperature 0 como salvoconducto
Datos oficiales: un LLM con t=0 también oscila—gpt-5.4-mini con t=0 tiene una tasa de consistencia original de 99.2%, pero con la salida la tasa de consistencia de la estrategia cae a 87.5% (el 12.5% de las respuestas se marca como uncertain, y la decisión oscila entre etiqueta y uncertain); claude-haiku-4-5 con temperatura por defecto solo alcanza un 87.5% de consistencia original. Más doloroso aún es aquel contraejemplo: Haiku con t=0 tiene la menor fluctuación de probabilidad, totalmente consistente en 15 repeticiones, pero el equipo oficial destacó expresamente en el gráfico—«100% reproducible no equivale a correcto, este experimento no mide exactitud». Estable ≠ correcto.
❌ Tratar uncertain como una cuarta opción de salida del modelo
uncertain es una derivación que hace tu código a partir de las probabilidades, no una etiqueta devuelta por el modelo. Dos errores típicos: primero, convertirlo en una opción de Choice y dejar que el modelo «elija uncertain»—la práctica oficial es comparar la probabilidad top en el código; segundo, creer que al añadir la salida el modelo se vuelve certero—cuando la probabilidad roza 0.60, la misma pregunta seguirá oscilando entre etiqueta concreta y uncertain (palabras textuales de la oficial: esta estrategia no convierte al modelo en determinista). Lo que gana la salida no es determinismo, sino que «las respuestas inciertas tienen un destino unificado».
❌ Establecer umbrales de confidence por todas partes
La lista de problemas comunes del agent-skill oficial incluye esta: si solo te interesa «elegir el mejor», basta con tomar la opción de mayor probabilidad, sin necesidad de establecer umbrales de confidence por todas partes; cuando haya necesidades de cálculo estadístico, usa probabilities. La salida de esta página usa deliberadamente la probabilidad top en lugar del campo confidence—es lo más directo de leer («¿qué probabilidad tiene el primer puesto»), y el umbral puede fijarse por pregunta según el número de opciones. Para saber cómo elegir entre ambas señales, consulta Confidence 置信度.
❌ Llevar umbrales de ejemplo directamente a producción
0.60 y 0.30/0.70 son estrategias de ejemplo del cookbook oficial: no son valores calibrados, ni están ajustados para que las cifras del experimento luzcan bien. La recomendación oficial es usar tus propias muestras anotadas y buscar el equilibrio entre «el coste de una acción errónea» y «el coste de la revisión humana». Además, los alias cambian con las nuevas versiones—las palabras exactas del oficial son que las solicitudes con umbrales ajustados deberían fijar el ID de versión; el campo response.model permite verificar la versión de cada respuesta en los logs. Más modos de fallo de Jev (interpretación literal, conteo poco fiable, comparación de fechas) en Jev 1.13 manual de tropiezos.
Técnicas avanzadas (opcional)
Añade salidas solo a las preguntas que se voltean. Al terminar el chequeo obtendrás dos tipos de preguntas: las 15 veces totalmente consistentes (target, severity) y las que se voltean (primary_risk). Las primeras se ejecutan automáticamente ahorrando mano de obra; solo las segundas necesitan salida. Aplicar salidas indiscriminadamente a todas las preguntas elevaría sin motivo la proporción de derivación a humanos, como el 25.8%—el resultado del chequeo existe justamente para que gastes el presupuesto humano en las preguntas que de verdad se voltean.
Ajusta la salida con otra señal. Además de la probabilidad top, el oficial lista indicadores alternativos: el cociente de probabilidad entre el primero y el segundo (p_max / p_second, apto para preguntas de «dos fuertes en pugna»), y el |2p − 1| de Noul (lleva la probabilidad de las preguntas de sí/no a la misma escala 0–1 que la confidence de Choice, unificando tu código de gating). Fórmulas y trade-offs en Confidence 置信度.
Pruébalo primero sin código. En el Playground de la consola (https://console.typesafe.ai/playground) pegas el state, añades preguntas y ya lo experimentas; la página del cookbook oficial además tiene enlaces compartidos ya preparados de esta publicación y de ese formulario de reclamación: al abrirlos obtienes el mismo state + preguntas.
Resumen de esta lección
✅ Jev Chequeo de autoconsistencia: mismo contenido, mismo conjunto de preguntas, repetir con un uid nuevo 15 veces y contar qué preguntas se voltean de etiqueta.
✅ Salida de Choice: probabilidad top ≥ 0.60 se ejecuta automáticamente, por debajo de 0.60 se registra uncertain y se deriva a humano—usando las probabilities devueltas, sin el campo confidence, sin llamadas extra al modelo.
✅ Salida de Noul: por debajo de 0.30 cuenta como no, 0.30–0.70 (incluyendo ambos extremos) se deriva a humano, solo por encima de 0.70 cuenta como sí.
✅ Medición oficial: la salida elevó la tasa de consistencia de decisiones de Jev del 90.8% al 99.2%, a costa de derivar a humano el 25.8% de las respuestas; el experimento mide estabilidad, no corrección.
Repaso de los campos de configuración clave:
| Campo | Valor de esta página | Explicación |
|---|---|---|
MIN_CHOICE_PROBABILITY | 0.60 | Umbral de ejemplo; cuando es exactamente 0.60 se toma la etiqueta |
NOUL_UNCERTAINTY_LOW / HIGH | 0.30 / 0.70 | Intervalo cerrado, ambos extremos cuentan como uncertain |
NUM_SAMPLES | 15 | Número de repeticiones del chequeo, valor del experimento oficial |
uid | f"{i}:{token_hex(4)}" | Campo de un solo uso en el state, solo para experimentos |
| Entrada de decisión | answer.choice / answer.probabilities / answer.noul | choice Es decir, la opción de mayor probabilidad |
Tutoriales relacionados:
- 75 clases de clasificación sectorial: si la confianza no basta, reporta la categoría general—la misma idea de triaje de «si no hay certeza suficiente, escala», aplicada a la clasificación sectorial
- Filtro de chat en directo: insultos, spoilers y spam interceptados de una vez—1 solicitud con 3 preguntas por mensaje, reglas de código deciden qué mostrar
- Enrutado inteligente: clasificación de intenciones con gating por confianza—despliegue completo del flujo de trabajo de gating por confianza
Avance de la próxima lección
Cuando lo que se audita es la propia aplicación LLM, el control de seguridad debe ser más completo: Barandillas LLM: control de seguridad total de entradas y salidas.
Aprenderás:
- Con una sola solicitud TypeSafe, hacer un control de seguridad completo a cada mensaje que entra y sale de la aplicación LLM
- Obtener la probabilidad de cada riesgo con un grupo de preguntas Noul, y evaluar con preguntas Score la gravedad del daño de seguirlas
- Clasificar los mensajes según tus umbrales: dejar pasar, derivar a humano, bloquear directamente, derivar al equipo de soporte
- La misma idea que esta página—probabilidad + umbral para derivar, solo que esta vez lo que se intercepta son jailbreaks y solicitudes dañinas