怎样评估 Agent 的工具调用质量?
检查是否选择正确工具、参数是否正确、调用顺序是否合理、是否越权,以及结果是否被正确使用。
完整回答
对固定任务可断言工具集合和关键参数,对开放任务允许多条合法路径但限制预算和危险动作。工具失败场景也要测试恢复策略。
加分信息
- 主动给出可量化的验证指标
- 能结合失败案例说明取舍
常见问题
- 只背定义,不说明工程边界
- 只讲理想流程,不处理异常路径
面试官可能追问
- 这个方案最可能在哪一步失败?
- 你会用什么数据证明改动有效?
结合任务 Agent 的轨迹断言。
检查是否选择正确工具、参数是否正确、调用顺序是否合理、是否越权,以及结果是否被正确使用。
对固定任务可断言工具集合和关键参数,对开放任务允许多条合法路径但限制预算和危险动作。工具失败场景也要测试恢复策略。
结合任务 Agent 的轨迹断言。