可评估 RAG 知识库
用版本化内部手册跑通章节切分、混合检索、引用回答和离线评估，建立可测量的 RAG 最小闭环。
Next.jsTypeScriptZodNode Test
目标用户
需要用私有资料构建可信问答的团队。
面试价值
覆盖 Embedding、检索、Rerank、引用、数据更新和 RAG Eval。
当前交付状态
可运行原型
站内已提供确定性 RAG 原型：8 份版本化手册切为 16 个章节块，13 条评估题覆盖混合检索、稳定引用和未知问题拒答；暂未接入向量数据库与生成模型。
验证命令
npm run test:unitnpm run build验证产物
- 确定性文档摄取与混合检索引擎
- 13 条固定检索评估集与引用/拒答测试
- 桌面和手机端交互验收
目标架构
离线管道清洗、切分并索引文档；在线查询经过改写、混合召回、重排和上下文组装，再生成带引用答案并记录检索证据。
目标实现步骤
- 01定义文档与评估集
- 02实现解析切片和索引
- 03实现混合检索与重排
- 04加入引用校验和回归评估
目标功能
- 文档版本管理
- 语义与关键词混合检索
- 重排
- 引用来源
- 离线评估
预期难点
- 切片边界
- 召回与精度平衡
- 版本更新
- 答案忠实度评估
交付与验收
测试策略
- 单元测试覆盖切片边界、元数据和权限过滤
- 检索评估测量 recall@k、MRR 与重复片段率
- 生成评估检查答案正确性、忠实度和引用覆盖率
部署步骤
- 离线入库任务与在线查询服务独立部署
- 索引新版本构建完成后原子切换并保留旧版本
- 数据库迁移、向量重建和文档删除都有回滚记录
验收清单
- 租户和文档权限在检索前强制过滤
- 引用可定位到稳定文档版本和原始片段
- 正确证据问题集的 recall@5 达到约定基线
- 索引更新失败不会影响当前线上版本
3 分钟讲解
- 30 秒说明私有知识、更新和引用需求
- 60 秒讲离线入库与在线混合检索链路
- 60 秒展示分层评估如何定位失败
- 30 秒总结召回率、忠实度和延迟结果
目标简历表达 · 完成验收后使用
实现带混合检索、重排和引用校验的 RAG 系统，并用固定问题集持续评估召回率与答案忠实度。