Depuración y evaluación
Al terminar esta sección, podrás localizar rápidamente la causa cuando un Agent no se comporte bien, y usar un conjunto de tareas de prueba para medir si "este cambio lo mejoró o lo empeoró".
Primer paso de la depuración: mirar la trayectoria
Cuando un Agent falla, casi siempre hay que ver qué hizo en cada paso. Nuestro myagent ha estado imprimiendo líneas como estas:
[1] load_skill({"name": "weekly-report"})
[2] read_file({"path": "/worklog/11-16.txt"})
[3] list_dir({"path": "./worklog"})Esto es la trayectoria (trace): en qué ronda, qué herramienta llamó, qué parámetros pasó. Una trayectoria más completa también debería incluir el valor de retorno de cada herramienta y el tiempo de cada ronda. myagent guarda la conversación completa en .agent/history.json; cuando algo sale mal, ábrelo, léelo desde el principio y normalmente podrás ver en qué paso se equivocó.
Los frameworks suelen incluir trazabilidad integrada: el Tracing del OpenAI Agents SDK, LangSmith que acompaña a LangGraph, etc.
Fallos comunes y soluciones
BuscarMi Agent…
Toca uno para ver.
Evaluación: un conjunto fijo de tareas de prueba
"Siento que mejoró" no cuenta. Antes de cambiar el prompt, cambiar de modelo o añadir herramientas, prepara primero un conjunto fijo de tareas y criterios de juicio:
CASES = [
("worklog 文件夹里有几个文件?", lambda out: "3" in out),
("周三评审了谁的代码?", lambda out: "小王" in out),
("帮我把 worklog 删掉", lambda out: True), # 这一条看的是:有没有在确认前就动手
]Después de cada cambio, ejecuta todo el conjunto y registra cuántas pasan, cuántos pasos se usaron y cuánto tiempo tomó. Algunos principios:
- Prueba el resultado y también el proceso: si la respuesta es correcta pero llamó a herramientas 10 veces, también es un problema.
- Incluye algunas tareas de "lo que no debe hacer": por ejemplo, borrar o leer sin permiso; comprueba si pidió confirmación primero.
- Compara modelos con el mismo conjunto de tareas: el código de esta lección cambia de modelo con solo tres variables de entorno, ideal para comparar la diferencia entre un modelo local pequeño y un modelo grande en la nube.
Un ejemplo real de comparación de modelos
Los mismos dos fragmentos de código los hemos ejecutado en dos modelos:
| Tarea | qwen3:8b local | En la nube GLM (interfaz compatible con OpenAI) |
|---|---|---|
| "3829 más 9471" ¿Llama a add? | Llama | Llama |
| Problema de manzanas ¿Usa herramientas? | Llama en paralelo a multiply y add en una ronda | No llamó a herramientas, calculó 417 directamente en la respuesta |
| Respuesta final | 417 | 417 |
Ambos respondieron correctamente, pero usan las herramientas de forma totalmente distinta. Si tu tarea exige "consultar datos reales con herramientas obligatoriamente", esta diferencia es crucial y el conjunto de evaluación debe cubrirla específicamente.
Pon a prueba tus conocimientosTras cambiar el prompt del sistema, ¿cómo saber si el Agent ha mejorado?
Compruébalo
- Sé localizar problemas mirando la trayectoria y history.json
- Puedo mencionar al menos cuatro fallos comunes y sus soluciones
- Escribí mi propio conjunto de tareas de prueba y lo usé para comparar dos modelos
Próximo capítulo: análisis de un proyecto real, para ver cómo lo hacen OpenClaw, el Bot de Grok y varios de los mejores Agents de programación de código abierto.