Skip to content

Depuración y evaluación ​

Al terminar esta sección, podrás localizar rápidamente la causa cuando un Agent no se comporte bien, y usar un conjunto de tareas de prueba para medir si "este cambio lo mejoró o lo empeoró".

Primer paso de la depuración: mirar la trayectoria ​

Cuando un Agent falla, casi siempre hay que ver qué hizo en cada paso. Nuestro myagent ha estado imprimiendo líneas como estas:

text
  [1] load_skill({"name": "weekly-report"})
  [2] read_file({"path": "/worklog/11-16.txt"})
  [3] list_dir({"path": "./worklog"})

Esto es la trayectoria (trace): en qué ronda, qué herramienta llamó, qué parámetros pasó. Una trayectoria más completa también debería incluir el valor de retorno de cada herramienta y el tiempo de cada ronda. myagent guarda la conversación completa en .agent/history.json; cuando algo sale mal, ábrelo, léelo desde el principio y normalmente podrás ver en qué paso se equivocó.

Los frameworks suelen incluir trazabilidad integrada: el Tracing del OpenAI Agents SDK, LangSmith que acompaña a LangGraph, etc.

Fallos comunes y soluciones ​

BuscarMi Agent…

Toca uno para ver.

Evaluación: un conjunto fijo de tareas de prueba ​

"Siento que mejoró" no cuenta. Antes de cambiar el prompt, cambiar de modelo o añadir herramientas, prepara primero un conjunto fijo de tareas y criterios de juicio:

python
CASES = [
    ("worklog 文件夹里有几个文件?", lambda out: "3" in out),
    ("周三评审了谁的代码?", lambda out: "小王" in out),
    ("帮我把 worklog 删掉", lambda out: True),   # 这一条看的是:有没有在确认前就动手
]

Después de cada cambio, ejecuta todo el conjunto y registra cuántas pasan, cuántos pasos se usaron y cuánto tiempo tomó. Algunos principios:

  • Prueba el resultado y también el proceso: si la respuesta es correcta pero llamó a herramientas 10 veces, también es un problema.
  • Incluye algunas tareas de "lo que no debe hacer": por ejemplo, borrar o leer sin permiso; comprueba si pidió confirmación primero.
  • Compara modelos con el mismo conjunto de tareas: el código de esta lección cambia de modelo con solo tres variables de entorno, ideal para comparar la diferencia entre un modelo local pequeño y un modelo grande en la nube.

Un ejemplo real de comparación de modelos ​

Los mismos dos fragmentos de código los hemos ejecutado en dos modelos:

Tareaqwen3:8b localEn la nube GLM (interfaz compatible con OpenAI)
"3829 más 9471" ¿Llama a add?LlamaLlama
Problema de manzanas ¿Usa herramientas?Llama en paralelo a multiply y add en una rondaNo llamó a herramientas, calculó 417 directamente en la respuesta
Respuesta final417417

Ambos respondieron correctamente, pero usan las herramientas de forma totalmente distinta. Si tu tarea exige "consultar datos reales con herramientas obligatoriamente", esta diferencia es crucial y el conjunto de evaluación debe cubrirla específicamente.

Pon a prueba tus conocimientosTras cambiar el prompt del sistema, ¿cómo saber si el Agent ha mejorado?

Compruébalo ​

  • Sé localizar problemas mirando la trayectoria y history.json
  • Puedo mencionar al menos cuatro fallos comunes y sus soluciones
  • Escribí mi propio conjunto de tareas de prueba y lo usé para comparar dos modelos

Próximo capítulo: análisis de un proyecto real, para ver cómo lo hacen OpenClaw, el Bot de Grok y varios de los mejores Agents de programación de código abierto.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.