返回项目证据页

RUNNABLE PROTOTYPE

Prompt 回归,不靠手感

同一组输入和期望,比较两个 Prompt 版本的结构、业务、延迟和成本。当前使用固定夹具,因此每次运行结果一致,适合验证评估引擎本身。

2Prompt 版本4固定样例

固定夹具模式:当前原型不发送模型请求,也不需要 API Key。指标来自仓库内固定响应,用于验证回归流程和错误分类。

SELECTED VERSION

V1 宽松指令

只要求模型判断问题类型并给出回复,没有枚举、优先级规则和输出契约。

Schema75%
业务规则25%
P95 延迟720ms
平均成本$0.000141
退款延迟refund-delay
输入

退款显示成功已经五天,但银行卡还没有到账。

期望

billing / high

实际输出
{
  "category": "billing",
  "priority": "medium",
  "response": "退款到账时间取决于银行处理,请继续等待。"
}
Schema 通过业务 失败610ms$0.000142
  • 优先级应为 high
异常登录suspicious-login
输入

收到异地登录提醒,不是我本人操作,账号里有企业资料。

期望

security / critical

实际输出
{
  "category": "security",
  "response": "请立即修改密码并联系管理员冻结会话。"
}
Schema 失败业务 失败720ms$0.000133
  • priority: Required
重置密码password-reset
输入

忘记密码,手机号已经停用,应该如何找回账号?

期望

account / medium

实际输出
{
  "category": "account",
  "priority": "medium",
  "response": "请通过人工申诉验证身份并更新绑定手机号。"
}
Schema 通过业务 通过580ms$0.000138
功能咨询feature-question
输入

团队版是否支持导出审计日志?

期望

product / low

实际输出
{
  "category": "product",
  "priority": "medium",
  "response": "团队版支持部分日志导出,具体范围请查看产品文档。"
}
Schema 通过业务 失败655ms$0.000149
  • 优先级应为 low