可评估 RAG 知识库
从文档解析、混合检索、重排到引用校验，建立可测量的知识问答链路。
Next.jsPostgreSQLpgvectorOpenAI API
目标用户
需要用私有资料构建可信问答的团队。
面试价值
覆盖 Embedding、检索、Rerank、引用、数据更新和 RAG Eval。
核心架构
离线管道清洗、切分并索引文档；在线查询经过改写、混合召回、重排和上下文组装，再生成带引用答案并记录检索证据。
实现步骤
- 01定义文档与评估集
- 02实现解析切片和索引
- 03实现混合检索与重排
- 04加入引用校验和回归评估
核心功能
- 文档版本管理
- 语义与关键词混合检索
- 重排
- 引用来源
- 离线评估
技术难点
- 切片边界
- 召回与精度平衡
- 版本更新
- 答案忠实度评估
交付与验收
测试策略
- 单元测试覆盖切片边界、元数据和权限过滤
- 检索评估测量 recall@k、MRR 与重复片段率
- 生成评估检查答案正确性、忠实度和引用覆盖率
部署步骤
- 离线入库任务与在线查询服务独立部署
- 索引新版本构建完成后原子切换并保留旧版本
- 数据库迁移、向量重建和文档删除都有回滚记录
验收清单
- 租户和文档权限在检索前强制过滤
- 引用可定位到稳定文档版本和原始片段
- 正确证据问题集的 recall@5 达到约定基线
- 索引更新失败不会影响当前线上版本
3 分钟讲解
- 30 秒说明私有知识、更新和引用需求
- 60 秒讲离线入库与在线混合检索链路
- 60 秒展示分层评估如何定位失败
- 30 秒总结召回率、忠实度和延迟结果
简历表达
实现带混合检索、重排和引用校验的 RAG 系统，并用固定问题集持续评估召回率与答案忠实度。