Prompt 调试与回归台
把提示词、模型参数、结构化输出和失败样例放进可复现的调试流程。
Next.jsVercel AI SDKOpenAI APIZod
目标用户
需要稳定调用 LLM API 的开发者。
面试价值
能证明理解 LLM API、结构化输出、可重复评估和生产错误处理。
核心架构
浏览器提交版本化测试样例，服务端统一封装模型调用、Schema 校验和调用日志，评估层比较不同提示词的通过率与成本。
实现步骤
- 01定义测试样例与输出 Schema
- 02封装模型调用与错误分类
- 03实现版本对比
- 04增加回归数据集与报告
核心功能
- Prompt 版本对比
- 结构化输出校验
- 流式响应
- 失败样例回放
技术难点
- 非确定性结果比较
- Schema 失败恢复
- 敏感信息脱敏
交付与验收
测试策略
- 单元测试覆盖 Schema 校验、错误分类和成本计算
- 集成测试使用模型响应夹具验证流式事件与取消
- 固定评估集比较 Prompt 版本通过率、延迟和 Token
部署步骤
- Preview 与 Production 使用独立模型密钥和额度
- 部署前执行内容校验、类型检查和回归评估
- 保留上一 Prompt 版本与模型配置用于一键回滚
验收清单
- 不少于 20 条固定样例可重复运行
- 结构化输出失败时返回明确错误而非脏数据
- 调用日志不包含密钥和完整敏感输入
- 报告能比较质量、P95 延迟和单任务成本
3 分钟讲解
- 30 秒说明为什么线上 Prompt 不能靠手工试一次
- 60 秒讲模型调用、Schema 校验和评估集架构
- 60 秒展示一次失败回放和版本对比
- 30 秒总结质量、延迟与成本的量化结果
简历表达
实现 Prompt 调试与回归平台，以结构化 Schema 和固定评估集比较版本质量、延迟与 Token 成本。