Skip to content

75 clases de clasificación sectorial: si la confianza no basta, se informa la división general ​

💡 Resumen en una frase: usar Jev para construir una canalización de clasificación de texto con «degradación automática ante incertidumbre» — una sola pregunta Choice asigna a 75 grupos sectoriales, con confidence ≥ 0.9 se informa el grupo sectorial, y si no basta, código puro informa la división correspondiente.

Cada empresa que presenta su informe anual ante la SEC (10-K) explica a qué se dedica en el Item 1 «Descripción del negocio». El cookbook oficial convirtió este material real en un clásico problema de clasificación de texto Jev: asignar cada descripción, según la clasificación industrial estándar (SIC), a uno de 75 grupos sectoriales — una Choice por archivo, y toda la tabla de categorías cabe en una sola solicitud.

La mayoría de los archivos son fáciles de clasificar: un banco regional es un banco regional. Lo difícil son las empresas que acaban de vender una de sus dos líneas de negocio, o las startups que describen el sector que «piensan entrar». El modelo tiene que elegir un grupo a la fuerza de todos modos, y las respuestas de los casos difíciles se ven idénticas a las de los fáciles. Distinguir lo difícil de lo fácil suele ser justo donde está el costo: un segundo modelo, llamadas extra, revisión manual.

La respuesta Choice de Jev incluye confidence (classification confidence, confianza de clasificación) — un solo número separa «respuestas fiables» de «respuestas no fiables». Y las etiquetas SIC tienen jerarquía natural: sobre los grupos sectoriales hay 10 divisiones más amplias (division). El enfoque oficial: cuando el modelo no está seguro del grupo sectorial, informa la división a la que pertenece — la división se obtiene consultando la tabla por número de grupo, sin una segunda llamada.

La prueba oficial con 60 informes anuales: el umbral de confidence de 0.9 divide los archivos exactamente por la mitad. La mitad con confianza acierta un 90%; la mitad sin confianza, forzando el grupo sectorial, solo acierta un 40% — tras informar la división de nivel superior, la tasa utilizable sube a 70%. Esta lección dura unos 15 minutos y te guía para reproducir por completo este control con los datos públicos oficiales (el cookbook oficial lo marca como Beginner).

Qué podrás hacer al terminar ​

  • Clasificar descripciones de empresas con Jev mediante una pregunta Choice de 75 opciones, obteniendo la distribución de probabilidad completa y el confidence
  • Escribir el código de control «confidence ≥ 0.9 informa el grupo sectorial, por debajo informa la división correspondiente» — resuelto con una consulta de tabla, sin una segunda llamada a la API
  • Reproducir con datos públicos oficiales el experimento de clasificación de informes anuales de la SEC: 60 informes, forzando el grupo sectorial 39/60 correcto → con el control 48/60 utilizable
  • Llevar el «si la confianza no basta, subir de nivel en el reporte» a tu propio árbol de categorías: sirve para clasificación sectorial con IA, catálogos de e-commerce y sistemas de tickets

Por qué usar Jev y no clasificación de texto con un LLM normal ​

CapacidadClasificación con LLM normalJev
IncertidumbrePreguntar «¿estás seguro?» da un párrafo de prosa; pedirle escribir las probabilidades como texto añade otro punto de fallo de parseoCada respuesta incluye confidence (0–1), calculado a partir de la distribución de probabilidad; basta fijar un umbral
Control de opcionesInvención libre de nombres de categoría; el vocabulario de «broker de préstamos» y «intermediario crediticio» deriva a diarioLa respuesta siempre es una de las 75 opciones, choice es la opción de mayor probabilidad
Listas grandes de opcionesMeter 75 opciones con sus descripciones en el prompt y validar la salida contra la tablaChoice admite hasta 255 opciones por pregunta, fiable hasta unas 240 — 75 muy dentro de la zona segura
Calibración de probabilidadesOptimizado para generar texto; las probabilidades autodeclaradas no tienen garantía de calibraciónEntrenamiento de calibración RLCD, probabilidades alineadas con resultados reales
Red de seguridad para casos difícilesInforma una etiqueta errónea a la fuerza, o llama otra vez al modelo para preguntar «¿seguro?»La división se deriva consultando la tabla por número de grupo; el reporte es un mapeo de código puro, sin segunda llamada

Una frase honesta: el control por confidence reduce la proporción de «tomar una etiqueta errónea como verdadera», no elimina los errores — en la prueba oficial, la mitad con confianza también tuvo 3/30 de errores. El origen de la calibración y los detalles de la fórmula están en Confidence confianza.

Tu dilema actual ​

  • «Pedí a un LLM clasificar a 200 clientes en 75 sectores, y respondió cada uno con total rotundidad — los mal clasificados se ven idénticos a los bien clasificados, y el muestreo es pura suerte»
  • «Quiero añadir revisión manual, pero revisar las 60 una por una cuesta más que la propia clasificación; preguntarle al modelo ‘¿estás seguro?’, siempre dice que sí»
  • «Las categorías tienen jerarquía, y cuando no se puede llegar al nivel más fino, una respuesta gruesa es mejor que una incorrecta — pero el modelo solo elige una a la fuerza, nunca dice ‘solo puedo llegar a este nivel’»

Cuándo usar esta técnica ​

Cuando necesitas:

  • Las etiquetas en sí tienen jerarquía (clasificación sectorial, categorías de e-commerce, estructura organizacional); cuando no se puede llegar al nivel fino, el nivel grueso también sirve
  • Cada dato tiene un destino: ni se permite descartarlo directamente por «no se sabe», ni se quiere derivar todo a revisión manual
  • Saber qué respuestas se pueden aceptar automáticamente y cuáles hay que revisar, gastando el presupuesto de revisión donde más importa

Y tampoco se quiere:

  • Volver a enviar una petición o llamar a otro modelo para preguntar «¿está seguro el modelo?»
  • Analizar nombres de categorías y probabilidades a partir del texto que escupe el modelo
  • Reportar a la fuerza el nivel fino cuando el modelo no está seguro, y que aguas abajo se tome en serio una etiqueta fina errónea

🎒 Preparativos antes de empezar ​

  • Has completado Choice (pregunta de selección): sabes que criteria es el map de opciones, que probabilities es la distribución de todas las opciones y que la respuesta siempre es una de ellas
  • Has completado Confidence (confianza): sabes que confidence se calcula a partir de la distribución de probabilidades, el uso de los tres niveles y que el umbral se escala según el riesgo
  • Has ejecutado con éxito la primera petición: .venv tiene instalado typesafe-sdk y la variable de entorno TYPESAFE_API_KEY está configurada

No hace falta crear los datos uno mismo: el equipo oficial publica la tabla de industrias SIC y 60 informes anuales reales en el repositorio typesafe-public-examples; el paso 1 te guía para descargarlos.

Hazlo conmigo ​

Paso 1: crear la tabla de mapeo «grupo sectorial → división» (descargar los datos oficiales SIC) ​

Por qué: la lógica de reporte necesita una tabla de mapeo «nivel fino → nivel grueso». El propio código SIC es jerárquico: los dos primeros dígitos del código de industria de cuatro dígitos son el grupo sectorial (major group, 75 en total), y grupos sectoriales en intervalos fijos se agrupan en 10 divisiones (division); esta capa de mapeo se deriva puramente por código a partir de las reglas de codificación, sin participación del modelo.

Descarga en el directorio del proyecto el par de datos oficiales (2026-11-03 verificado localmente como accesible):

bash
curl -sL -o sic_codes.tsv "https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/classification_using_confidence/sic_codes.tsv"
curl -sL -o filings.jsonl "https://raw.githubusercontent.com/typesafe-ai/typesafe-public-examples/main/cookbooks/classification_using_confidence/filings.jsonl"

Crea classify_sic.py y pega la parte del mapeo:

python
# classify_sic.py —— 75 类行业分类:置信度不够就上报大类
# 依赖:pip install typesafe-sdk(Python 3.10+),环境变量里已有 TYPESAFE_API_KEY
from collections import defaultdict
from pathlib import Path

# 十个大类:SIC 行业组编码的固定区间(官方 cookbook 原表)
DIVISIONS = [
    (1, 9, "agriculture, forestry and fishing"),
    (10, 14, "mining"),
    (15, 17, "construction"),
    (20, 39, "manufacturing"),
    (40, 49, "transportation, communications and utilities"),
    (50, 51, "wholesale trade"),
    (52, 59, "retail trade"),
    (60, 67, "finance, insurance and real estate"),
    (70, 89, "services"),
    (91, 99, "public administration"),
]

# 444 个四位行业码 -> 75 个行业组(前两位)-> 10 个大类,全程零模型参与
INDUSTRIES: dict[str, str] = {}
for line in Path("sic_codes.tsv").read_text().splitlines()[1:]:
    code, _office, title = line.split("\t")
    INDUSTRIES[code] = title.lower()

GROUPS: dict[str, list[str]] = defaultdict(list)
for code in sorted(INDUSTRIES):
    GROUPS[code[:2]].append(code)


def division(group: str) -> str:
    """行业组组号 -> 所属大类,纯查表。"""
    number = int(group)
    return next(name for low, high, name in DIVISIONS if low <= number <= high)


print(f"{len(INDUSTRIES)} industries -> {len(GROUPS)} major groups -> {len(DIVISIONS)} divisions")
print(f"  group 35 = {division('35')} / {', '.join(INDUSTRIES[c] for c in GROUPS['35'][:3])} ...")

Ejecuta:

bash
.venv/bin/python classify_sic.py

Deberías ver (2026-11-03 verificado localmente con los datos oficiales):

text
444 industries -> 75 major groups -> 10 divisions
  group 35 = manufacturing / engines & turbines, farm machinery & equipment, lawn & garden tractors & home lawn & gardens equip ...
  • Yo obtuve 444 → 75 → 10, el grupo 35 cae en manufacturing

Paso 2: escribir los 75 grupos sectoriales como una pregunta Choice ​

Por qué: no basta con que las opciones tengan solo nombre; de los 75 grupos sectoriales, solo 42 llevan en la lista de la SEC un «nombre paraguas» (como food and kindred products del grupo 20), los otros 33 solo tienen número de grupo. El enfoque oficial es describir cada opción con los detalles de las industrias del grupo, exactamente los detalles con los que compara quien lee informes anuales. Cada grupo lista como máximo 8 detalles: la nota oficial dice que es suficiente para caracterizarlos sin amontonar un muro de texto.

Pega a continuación del código anterior:

python
from typesafe_sdk import Choice

MAX_NAMED = 8  # 每组列出的细目数;官方值


def describe(group: str) -> str:
    """选项描述 = 伞名 + 组内细目;没有伞名的组只列细目。"""
    umbrella = INDUSTRIES.get(f"{group}00")
    inside = [INDUSTRIES[c] for c in GROUPS[group] if c != f"{group}00"][:MAX_NAMED]
    listed = "; ".join(inside)
    return (
        f"{umbrella} — includes: {listed}"
        if umbrella and listed
        else (umbrella or listed)
    )


print(f"group 20: {describe('20')[:150]}")
print(f"\ngroup 65: {describe('65')[:150]}")

# 问题原文来自官方 cookbook;完整问题写在 instructions 里
QUESTION = (
    "Which broad industry does this company operate in? Judge the company's own operations "
    "as this filing describes them."
)


def questions() -> dict:
    return {
        "group": Choice(
            instructions=QUESTION,
            criteria={group: describe(group) for group in sorted(GROUPS)},
        )
    }

Vuelve a ejecutar; deberías ver (la nueva salida es la siguiente, coincide con la salida grabada oficial; las impresiones de los pasos previos se mantienen sin cambios):

text
group 20: food and kindred products — includes: meat packing plants; sausages & other prepared meat products; poultry slaughtering and processing; dairy product

group 65: real estate — includes: real estate operators (no developers) & lessors; operators of nonresidential buildings; operators of apartment buildings; less

¿75 opciones no serán demasiadas? No. La lección de Choice explicó que una pregunta admite hasta 255 opciones; la experiencia del cookbook oficial es que hasta unas 240 sigue siendo fiable, y 75 está muy dentro de la zona segura: toda la tabla de categorías cabe en una sola petición.

💡 Este es el valor único de Jev

Las 75 opciones junto con sus descripciones se entregan al modelo de forma estructurada en criteria, y la respuesta solo puede ser uno de esos 75 números de grupo: sin deriva de vocabulario, sin análisis de salida. Lo más importante es el siguiente paso: cada respuesta trae su confidence incorporada, no hace falta enviar ninguna petición adicional para preguntar «¿está seguro?»

  • Puedo decir, en la descripción de la opción del grupo 20, qué parte es el «nombre paraguas» y cuál son los «detalles»

Paso 3: un informe anual, una petición; ejecutar la clasificación de texto de Jev ​

Por qué: en filings.jsonl hay 60 informes anuales 10-K reales, cada uno conserva solo el Item 1 «descripción del negocio», la parte donde la empresa describe su actividad por sí misma y la única que importa para el código sectorial, con un promedio de 1438 palabras. Se envía una petición por archivo con una pregunta Choice: la respuesta devuelve choice (el número de grupo ganador), probabilities (el peso de cada una de las 75 opciones) y confidence (un único número que mide la concentración de la distribución).

Los pasos 4 y 5 tomarán repetidamente respuestas del mismo archivo, así que primero añade una pequeña caché para guardar los resultados en my_cache.json: al reejecutar el script no se vuelve a facturar; para forzar la reejecución basta con borrarlo (el notebook oficial usa el JsonCache de cooksafe para lo mismo):

python
import json

from typesafe_sdk import TypeSafeClient

client = TypeSafeClient(model="jev-latest")

FILINGS = [json.loads(line) for line in Path("filings.jsonl").read_text().splitlines()]
_cache: dict[str, dict] = {}
if Path("my_cache.json").exists():
    _cache.update(json.loads(Path("my_cache.json").read_text()))


def ask(filing_id: str, text: str) -> dict:
    if filing_id not in _cache:
        response = client.system_one(state=text, questions=questions())
        answer = response.answers["group"]
        _cache[filing_id] = {
            "group": answer.choice,
            "confidence": answer.confidence,
            "probabilities": dict(answer.probabilities),
        }
        Path("my_cache.json").write_text(json.dumps(_cache))
    return _cache[filing_id]


# 拿一份好分的文件先跑通:一家人寿保险公司
example = next(f for f in FILINGS if f["id"] == "33416_1998")
print(f"{len(FILINGS)} filings, {sum(f['words'] for f in FILINGS) // len(FILINGS)} words on average")
print(f"\n{example['id']} (filed {example['year']}, accession {example['accession']}):")
print(f"  {example['text'][:230]}...")
print(f"  filer's code: {example['sic']} {INDUSTRIES[example['sic']]}")

answer = ask(example["id"], example["text"])
print(f"\nmodel's answer: group {answer['group']} ({describe(answer['group']).split(' — ')[0][:46]}), conf {answer['confidence']:.2f}")

Ejecuta:

bash
.venv/bin/python classify_sic.py

Deberías ver (nueva salida a continuación; filas verificadas localmente 2026-11-03, la última fila es el valor grabado oficial: con jev-1.12 se comprobó que este archivo da conf 1.00 → grupo 63. Si lo ejecutas con jev-latest, en un archivo con una descripción de negocio tan clara la etiqueta probablemente no cambie, aunque el valor de confianza puede variar ligeramente):

text
60 filings, 1438 words on average

33416_1998 (filed 1998, accession 0000033416-99-000001):
  ITEM 1. BUSINESS Erie Family Life Insurance Company (hereinafter referred to as "The Company", the "Company" or "Erie Family Life") was incorporated in the Commonwealth of Pennsylvania on May 23, 1967 and commenced business on Sep...
  filer's code: 6311 life insurance

model's answer: group 63 (life insurance; accident & health insurance; h), conf 1.00

Una empresa que describe su negocio con toda claridad obtiene una confidence directamente al máximo. En las 60 respuestas grabadas oficialmente, la confidence va desde 0.22 hasta 1.00: la distribución se abre, y eso es justamente la premisa para que el gating funcione. Recordatorio de costos: ejecutar las 60 en total = 60 peticiones, facturadas por tokens de entrada con salida gratuita; las tarifas vigentes están en modelos y precios.

  • La petición de un solo archivo devolvió choice, probabilities y confidence, y la respuesta es una de mis 75 opciones

Paso 4: añadir el gating por confianza: ≥ 0.9 reporta el grupo sectorial, < 0.9 reporta la división a la que pertenece ​

Por qué: este es el protagonista de la lección. Con confidence ≥ 0.9, la respuesta se reporta por grupo sectorial; por debajo de 0.9, la misma respuesta se reporta como la división a la que pertenece: division(组号) completa la consulta, cero llamadas adicionales. Cada archivo vuelve con una etiqueta utilizable: sin descartar, sin reportar a la fuerza y sin derivar todo a revisión manual.

Pega a continuación:

python
CONFIDENT = 0.9  # 高于它报行业组组号;低于它上报所属大类(官方 SEC 场景实验值)


def classify(filing: dict) -> dict:
    answer = ask(filing["id"], filing["text"])
    sure = answer["confidence"] >= CONFIDENT
    return {
        "level": "group" if sure else "division",
        "label": answer["group"] if sure else division(answer["group"]),
        "confidence": answer["confidence"],
        "group": answer["group"],
    }


def show(filing: dict) -> None:
    result = classify(filing)
    named = describe(result["group"]).split(" — ")[0][:46]
    print(
        f"  {filing['id']:>13}  conf {result['confidence']:.2f}  -> {result['level']:<8} "
        f"{result['label']:<14} (group {result['group']}: {named})"
    )


results = [(f, classify(f)) for f in FILINGS]  # 60 份各一次请求,缓存防重复
by_conf = sorted(results, key=lambda fr: fr[1]["confidence"], reverse=True)

print("three filings the model was sure about:")
for f, _ in by_conf[:3]:
    show(f)
print("\nthree it was not:")
for f, _ in by_conf[-3:]:
    show(f)

Ejecuta:

bash
.venv/bin/python classify_sic.py

Deberías ver (nueva salida a continuación, grabada oficialmente, jev-1.12, 2026-08-12; tu propia lista de extremos y valores variarán según la versión y los datos, pero el patrón de «los fáciles de clasificar con confianza alta, los difíciles con confianza baja» se mantiene):

text
three filings the model was sure about:
    310158_1996  conf 1.00  -> group    28             (group 28: chemicals & allied products)
     33416_1998  conf 1.00  -> group    63             (group 63: life insurance; accident & health insurance; h)
    352541_1996  conf 1.00  -> group    49             (group 49: electric, gas & sanitary services)

three it was not:
   1372167_2013  conf 0.22  -> division manufacturing  (group 38: search, detection, navagation, guidance, aeron)
   1398633_2009  conf 0.23  -> division wholesale trade (group 50: wholesale-durable goods)
     46653_1999  conf 0.29  -> division services       (group 87: services-engineering, accounting, research, ma)

Mira las tres filas de cada extremo: la confidence encaja perfectamente con «lo difícil que es clasificar este archivo»:

  • Los tres con 1.00: un fabricante farmacéutico, una aseguradora de vida y una empresa de servicios públicos; en papel todas son holding, pero el informe anual de cada una menciona un negocio dominante.
  • Los tres últimos: dos son empresas en fase de desarrollo que describen negocios que «piensan hacer» (una se declara «intends to operate as a software developer», la otra «organized to enter into the computer security software industry»); la tercera originalmente tenía dos segmentos de negocio y vendió uno pocas semanas antes de la presentación.
  • Así que lo que devuelven estos tres no es un número de grupo fino, sino tres etiquetas de división: manufacturing / wholesale trade / services.

💡 Atención con contenido en chino

Según la nota oficial de soporte de idiomas: el inglés es el idioma principal de entrenamiento; otros idiomas, incluido el chino, funcionan pero con menor precisión. Antes de usar descripciones de empresas en chino para clasificación sectorial con IA, ejecuta primero un lote con tus propios datos, fijándote sobre todo en la distribución de confidence, y luego fija el umbral; este es también el primer paso que toda la sección enfatiza una y otra vez.

  • En las tres primeras y tres últimas filas, reporta group cuando haya certeza y division cuando no la haya (en la grabación oficial, la confianza de las tres últimas no llega a 0.3)

Paso 5: cuantificar qué se gana al «reportar la categoría mayor» ​

Por qué: para saber si el umbral de confianza vale la pena, hay que hablar con números. Los autores oficiales compararon las respuestas de 60 grabaciones con los códigos autoinformados por los filers, puntuando dos estrategias: la estrategia A obliga a reportar siempre el grupo sectorial; la estrategia B, cuando no hay certeza (confidence < 0.9), reporta la división.

Pega a continuación:

python
def correct(filing: dict, result: dict) -> bool:
    gold_group = filing["sic"][:2]
    if result["level"] == "group":
        return result["label"] == gold_group
    return result["label"] == division(gold_group)


sure = [(f, r) for f, r in results if r["level"] == "group"]
unsure = [(f, r) for f, r in results if r["level"] == "division"]

forced = sum(r["group"] == f["sic"][:2] for f, r in results)
broadened = sum(correct(f, r) for f, r in results)

print(f"forced to name a group every time      {forced}/{len(results)} right")
print(
    f"  of those, the {len(sure)} it was sure about  "
    f"{sum(r['group'] == f['sic'][:2] for f, r in sure)}/{len(sure)} right"
)
print(
    f"  and the {len(unsure)} it was not           "
    f"{sum(r['group'] == f['sic'][:2] for f, r in unsure)}/{len(unsure)} right"
)
print(f"\nletting it answer coarsely when unsure  {broadened}/{len(results)} useful answers")

Tras ejecutarlodeberías ver (nueva salida a continuación, grabación oficial, jev-1.12):

text
forced to name a group every time      39/60 right
  of those, the 30 it was sure about  27/30 right
  and the 30 it was not           12/30 right

letting it answer coarsely when unsure  48/60 useful answers

Desglosado en una tabla para verlo con claridad (proporciones calculadas a partir de las cuatro cifras oficiales):

Estrategialas 30 con certezalas 30 sin certezatotal 60 casos
Obligar a reportar grupo sectorial27/30 correctas (90%)12/30 correctas (40%)39/60 (65%)
Sin certeza, reportar la categoría mayor27/30 correctas (90%)21/30 utilizables (70%)48/60 (80%)

Tres lecturas:

  • La mitad con certeza: reportar el grupo industrial acierta el 90% de las veces; estas se pueden aceptar automáticamente con tranquilidad.
  • La mitad sin certeza: reportar a la fuerza el grupo sectorial solo acierta el 40%; tras reportar la división de primer nivel, el 70% es utilizable. Un nivel más grueso es naturalmente más fácil de acertar: una sola división como manufacturing cubre los veinte grupos sectoriales 20–39; basta con que el ganador caiga en el intervalo correcto para que la etiqueta tras la consulta a la tabla sea correcta.
  • El coste: las etiquetas de esos 30 casos se vuelven más gruesas. Palabra oficial: si la categoría mayor es demasiado gruesa para tu aplicación y no puedes actuar con ella, esta rama es donde se deriva a revisión humana.

No olvides la conciliación: incluso en la mitad con certeza hay 3/30 errores; el umbral reduce la proporción de «tomar como verdadera una etiqueta errónea», no elimina los errores.

  • Puedo explicar el significado de cada uno de los cuatro números 39/60, 27/30, 12/30, 48/60

📋 Prompt mágico ​

El «Prompt» de esta página es una plantilla de pregunta para la API: cópiala, sustituye los marcadores 【】 (los que llevan ? son opcionales) y ya se puede usar.

📝 Plantilla de clasificación en dos niveles con umbral de confianza (cualquier árbol de categorías) ​

Resultado esperado: convertir cualquier sistema de etiquetas jerárquico en un clasificador que «reporta el nivel fino cuando hay suficiente certeza y el nivel grueso cuando no»: una sola petición, cero llamadas adicionales.

python
from typesafe_sdk import Choice

# 必填项:【】里换成你的类目树
CONFIDENT = 【置信度门槛:官方 SEC 场景用 0.9;从保守值起步,用自己的数据调】
FINE_LABELS = {
    "【细级标签 A】": "【什么内容算 A——写成可对照的情境描述】",
    "【细级标签 B】": "【什么内容算 B】",
    # 细级标签总数 ≤ 255(硬上限),约 240 内可靠
}
COARSE_OF = {
    "【细级标签 A】": "【A 所属的粗级标签】",
    "【细级标签 B】": "【B 所属的粗级标签】",
}

QUESTIONS = {
    "label": Choice(
        instructions="【一句话问题:这条内容最属于哪个标签?只根据给定材料判断】",
        criteria=FINE_LABELS,
    ),
}

# 输出规范:answer.choice / answer.confidence / answer.probabilities
# 门控:confidence >= CONFIDENT 报 answer.choice;否则报 COARSE_OF[answer.choice]
# 约束条件:
# ✅ 粗级映射用纯代码查表——不发第二次请求
# ✅ 每个细级标签写「可对照的情境描述」,光有名字往往不够
# ❌ 不要把「不确定」做成一个选项——门控是代码层的,不是模型标签
# ❌ 单级标签超过约 240 个别硬塞一题——改走逐层分类(见相关教程)

✅ Generador de descripciones de opciones (compone los criteria a partir de tu propio archivo de categorías) ​

Resultado esperado: la fuente oficial describe cada opción con «nombre paraguas + hasta 8 subelementos del grupo»; haz lo mismo con tu árbol de categorías, componiendo automáticamente la descripción de cada opción a partir de los datos de categorías.

python
# 必填项:【】里换成你的类目数据源(伞名和子项列表)
# 选填项:没有伞名的标签 umbrella 传空串?,函数自动只列子项
def describe_label(umbrella: str, children: list[str], max_named: int = 8) -> str:
    """官方 describe() 的通用版:伞名 + 最多 max_named 个子项。"""
    listed = "; ".join(children[:max_named])
    if umbrella and listed:
        return f"{umbrella} — includes: {listed}"
    return umbrella or listed


# 约束条件:
# ✅ 子项挑最有代表性的(官方按编码顺序取前 8 个)
# ✅ 描述统一大小写风格——官方代码把全部行业标题统一转小写
# ❌ 别堆全部子项——官方注释:足够刻画特征即可,不堆文字墙
# ❌ 没有伞名的标签别硬造——官方 describe() 对 33 个无伞名组只列子项

🔧 Script de calibración del umbral (define CONFIDENT con tus propios datos anotados) ​

Resultado esperado: 0.9 es el valor experimental oficial para el escenario SEC en jev-1.12. Al cambiar de categorías, idioma o versión del modelo, el umbral debe recalibrarse: este script genera, para cada umbral candidato, las dos cartas de «proporción aceptada automáticamente × tasa de acierto».

python
# 必填项:【】里换成你的标注样本(挑真实业务里最难判的一批:代表性案例 + 难例 + 反例)
GOLD = [
    ("【文本 1】", "【正确细级标签】"),
    ("【文本 2】", "【正确细级标签】"),
]
THRESHOLDS = [0.5, 0.6, 0.7, 0.8, 0.9, 0.95]

answers = {}
for text, _gold in GOLD:
    response = client.system_one(state=text, questions=QUESTIONS)
    a = response.answers["label"]
    answers[text] = {"choice": a.choice, "confidence": a.confidence}

for t in THRESHOLDS:
    auto = [(gold, answers[text]) for text, gold in GOLD if answers[text]["confidence"] >= t]
    fine = sum(a["choice"] == gold for gold, a in auto)
    coarse = sum(
        COARSE_OF[a["choice"]] == COARSE_OF[gold]
        for gold, a in auto
        if a["choice"] != gold
    )
    print(f"threshold {t:.2f}: 自动采信 {len(auto)}/{len(GOLD)}, 细级正确 {fine}/{len(auto)}, 上报后粗级可用 {fine + coarse}/{len(auto)}")

# 约束条件:
# ✅ 标定样本要覆盖难例——全是好分的样本会把你骗到过低的门槛
# ✅ 门槛和问题定义放同一个文件,方便人审(官方 Agent Skill 建议)
# ❌ 别拿官方 0.9 直接上生产——官方 NOTE:正确阈值取决于你的领域和用例表现
# ❌ 金标先抽检再标定——过期的标签会把门槛带偏(官方实验前先筛样本)

Puntos de control ✅ ​

  • classify_sic.py obtiene el mapeo 444 → 75 → 10, con el grupo 35 cayendo en manufacturing
  • 60 casos ejecutados por completo, la columna level contiene tanto group como division, y la confianza del lote sin certeza es claramente más baja
  • La respuesta de un solo archivo trae los tres campos choice, probabilities y confidence, y la respuesta siempre es una de las 75 opciones
  • Conozco el significado de 39/60, 27/30, 12/30, 48/60, y que provienen de la grabación oficial jev-1.12 (2026-08-12)
  • Sé que 0.9 es el umbral experimental del escenario SEC; al cambiar de categorías, idioma o versión hay que recalibrarlo con datos anotados

Advertencias de errores comunes ​

❌ Convertir «reportar la categoría mayor» en una segunda petición ​

Síntoma: cuando confidence está por debajo del umbral, se envía otra petición preguntando «¿a qué categoría mayor pertenece?»

Por qué está mal: la categoría mayor queda determinada únicamente por el número de grupo; basta division(组号) con una consulta a la tabla. La segunda petición cuesta más dinero e introduce nueva incertidumbre. Palabra oficial: la categoría mayor se deriva del grupo industrial, así que no hay segunda llamada.

Cómo hacerlo bien: completar el reporte en la rama del umbral con código puro. Por la misma razón, no conviertas «incierto» en una opción número 76 para que el modelo la elija: decidir si se reporta lo determina el código según confidence, no una etiqueta del modelo.

❌ Descripciones de opciones perezosas, solo el nombre de la etiqueta ​

Síntoma: en criteria cada opción solo lleva palabras sueltas como "manufacturing" o "services"; la calidad de las respuestas es baja y la confianza suele ser baja.

Por qué está mal: de los 75 grupos industriales, 33 no tienen nombre paraguas en la lista SEC; dando solo el número de grupo o una palabra, el modelo solo puede adivinar. La parte oficial describe cada opción con «nombre paraguas + hasta 8 subelementos del grupo», que son precisamente los subelementos con los que se coteja quien lee informes anuales.

Cómo hacerlo bien: con el enfoque del paso 2 y describe(), escribe para cada opción una «descripción contextual cotejable»; tanto el nombre de la etiqueta como la descripción se envían al modelo, y la descripción es la clave para distinguir opciones.

❌ Tomar confidence como garantía de que «la respuesta es correcta» ​

Síntoma: las respuestas con conf 1.00 entran directamente a la base de datos, sin más muestreo.

Por qué está mal: confidence describe el grado de concentración de la distribución de probabilidades, no la probabilidad de que la respuesta sea correcta. En las pruebas oficiales, de las 30 con certeza, 3 eran erróneas (27/30). Con descripciones de opciones ambiguas o material con información faltante, el modelo puede equivocarse con mucha seguridad.

Cómo hacerlo bien: usa confidence como umbral de «aceptar automáticamente o no»; la calidad de la pregunta se mide aparte: las tres direcciones de investigación para casos de baja confianza (opciones solapadas / la pregunta evalúa más de una cosa / falta información de state) se ven en Confidence 置信度.

❌ Copiar tal cual el umbral 0.9 y dejar que la versión derive con el alias ​

Síntoma: se fija 0.9 a mano en el propio sistema, se usa siempre jev-latest, y un día, tras el lanzamiento de una nueva versión, el comportamiento cambia.

Por qué está mal: 0.9 es el valor experimental oficial del escenario SEC en jev-1.12, y la NOTE oficial dice claramente que el umbral correcto depende de tu dominio y del rendimiento en tu caso de uso; además, el alias jev-latest se desplaza con las nuevas versiones, y la parte oficial recomienda que las peticiones con umbral ajustado bloqueen el ID de versión.

Lo correcto: calibrar el umbral con tus propios datos anotados (plantilla 3 del Prompt mágico); en solicitudes de producción, fijar el ID de versión con response.model para que cada respuesta en los registros tenga una versión verificable. Más modos de fallo de Jev en el Jev 1.13 manual de tropiezos.

❌ No autocomprobar los datos de referencia dorada: la «precisión» medida no tiene sentido ​

Síntoma: se toma un lote de «respuestas del modelo vs etiquetas humanas» para calcular la tasa de acierto, los números salen muy malos y se empieza a dudar del modelo.

Por qué es un error: los códigos de industria de la SEC los elige el propio filer y caducan — cuando una empresa vende el negocio al que apunta el código, conserva el código. Antes de hacer el experimento, lo oficial filtró 60 registros a «código respaldado por el texto» antes de medir: lo que se evalúa es este método, no la calidad de los metadatos de EDGAR.

Lo correcto: antes de calibrar y evaluar, muestrear y revisar la referencia dorada — las muestras con etiquetas caducadas se corrigen o se archivan por separado; no dejes que las etiquetas sucias contaminen tu umbral.

Técnicas avanzadas (opcional) ​

🔧 Cambiar la señal para ajustar el umbral. Además de confidence, lo oficial mencionó dos métricas alternativas: la probabilidad top p_max (su significado varía con el número de opciones, hay que fijar el umbral según el enunciado) y la razón top-sobre-segunda p_max / p_second (la más práctica en preguntas donde dos opciones fuertes compiten).

Una intuición geométrica: con 75 opciones, confidence y p_max casi coinciden en valor — su valor está en normalizar el número de opciones: un mismo umbral de 0.9 significa lo mismo con 3 opciones que con 75. Fórmulas y compensaciones en Confidence (confianza).

🔧 Cuando una sola capa no cabe para las categorías, pasar a clasificación por niveles. 255 opciones por pregunta es el límite duro, fiable aproximadamente hasta 240. Si tu árbol de categorías supera esa cifra en un solo nivel, o necesitas etiquetas por nivel, consulta la lección anterior Clasificación de niveles profundos: lo oficial usa las probabilidades de Choice para recorrer el árbol de categorías nivel por nivel con una beam search paralela. El enfoque de esta lección, «una sola pregunta plana + reporte de confianza», sirve para escenarios como 75 donde cabe en un solo nivel — las dos rutas se complementan.

🔧 Ver el ejemplo oficial primero, sin código. En la página del cookbook oficial queda un enlace compartido de Playground — una pregunta completa con un informe anual + 75 opciones; al abrirla se ven la distribución de probabilidades y el confidence, sin escribir código. El Playground de la consola está en console.typesafe.ai/playground.

Resumen de la lección ​

✅ Una pregunta Choice de 75 opciones completa la clasificación de texto de Jev: criteria describe cada opción con «nombre paraguas + hasta 8 detalles», y la respuesta siempre es una de las opciones.

✅ Umbral de confianza: si confidence ≥ 0.9 se reporta el grupo sectorial; por debajo, se reporta la división a la que pertenece — se hace por consulta de tabla, sin segunda llamada; cada dato vuelve con una etiqueta utilizable.

✅ Prueba oficial con 60 informes anuales de la SEC: reportando forzosamente el grupo de industria, 39/60 (65%); con el umbral añadido, 48/60 (80%) — el 90% de los casos con certeza acierta, y los dudosos suben del 40% al 70%.

✅ 0.9 es el umbral experimental del escenario SEC sobre jev-1.12: al cambiar de categorías, de idioma o de versión, hay que recalibrar con tus propios datos anotados.

Repaso de los campos de configuración clave:

Campo / constanteValor de esta páginaDescripción
CONFIDENT0.9≥ reporta grupo de industria, < reporta macrocategoría; valor experimental del escenario SEC oficial
MAX_NAMED8Límite máximo de detalles listados en la descripción de cada opción
Número de opciones75Límite duro de Choice 255, fiable aproximadamente hasta 240
Entrada de la decisiónanswer.choice / .confidence / .probabilitieschoice es la opción de mayor probabilidad
division(group)Consulta de tablanúmero de grupo de industria → 10 macrocategorías, código puro

Tutoriales relacionados:

Avance de la próxima lección ​

Preguntando una sola vez la misma pregunta, ¿cómo saber si es «estable»? Próxima lección: Autoconsistencia: añadir una salida de «incertidumbre» al sistema de moderación.

Aprenderás:

  • Chequeo de autoconsistencia: repetir la misma pregunta 15 veces con un uid nuevo para el mismo contenido y detectar las preguntas que cambian de etiqueta
  • En preguntas Choice, probabilidad top por debajo de 0.60 pasa automáticamente a humano; en preguntas Noul, banda de incertidumbre 0.30–0.70
  • Prueba oficial: con la salida añadida, la tasa de consistencia de decisiones sube del 90.8% al 99.2%, a costa de derivar a humano el 25.8%
  • Relación con esta lección: aquí usamos el confidence de la respuesta única para decidir «reportar grueso o fino»; la próxima usa muestreo repetido para decidir «qué pregunta no debería ejecutarse automáticamente en absoluto»
gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.