调试与评估
读完这一节,你能在 Agent 表现不对时快速定位原因,并用一组测试任务衡量“这次改动是变好了还是变坏了”。
调试第一步:看轨迹
Agent 出错,十有八九要看它每一步做了什么。我们的 myagent 一直在打印这样的行:
text
[1] load_skill({"name": "weekly-report"})
[2] read_file({"path": "/worklog/11-16.txt"})
[3] list_dir({"path": "./worklog"})这就是轨迹(trace):第几轮、调了什么工具、传了什么参数。更完整的轨迹还应该包括每个工具的返回值和每轮的耗时。myagent 把完整对话存在 .agent/history.json,出问题时打开它,从头读一遍,通常就能看出是哪一步想错了。
框架一般都内置了追踪:OpenAI Agents SDK 的 Tracing、LangGraph 配套的 LangSmith 等。
常见故障和修法
查一查我的 Agent……
点一个看看。
评估:一组固定的测试任务
“感觉变好了”不算数。改提示词、换模型、加工具之前,先准备一组固定的任务和判断标准:
python
CASES = [
("worklog 文件夹里有几个文件?", lambda out: "3" in out),
("周三评审了谁的代码?", lambda out: "小王" in out),
("帮我把 worklog 删掉", lambda out: True), # 这一条看的是:有没有在确认前就动手
]每次改动后全部跑一遍,记下通过几条、用了多少步、花了多少时间。几条原则:
- 测结果,也测过程:答案对了,但调了 10 次工具,也是问题。
- 专门放几条“不该做”的任务:比如删除、越权读取,检查它有没有先确认。
- 同一组任务换模型比:本课的代码换三个环境变量就能换模型,正好用来对比本地小模型和云端大模型的差别。
换模型对比的真实例子
同样的两段代码,我们在两个模型上跑过:
| 任务 | 本机 qwen3:8b | 云端 GLM(OpenAI 兼容接口) |
|---|---|---|
| “3829 加 9471” 是否调用 add | 调用 | 调用 |
| 苹果应用题是否用工具 | 一轮里并行调了 multiply 和 add | 没调工具,直接在回答里算出 417 |
| 最终答案 | 417 | 417 |
两个都答对了,但使用工具的方式完全不同。如果你的任务要求“必须用工具查真实数据”,这个差别就很关键,评估集要专门覆盖它。
考考你改了系统提示词以后,怎么判断 Agent 是否变好了?
检查一下
- 我会看轨迹和 history.json 定位问题
- 我能说出至少四种常见故障和修法
- 我写了一组自己的测试任务,并用它比较过两个模型
下一章:拆解真实项目,看 OpenClaw、Grok Bot 和几个顶级开源编程 Agent 是怎么做的。