RAG 知识库怎样评测？把检索质量、答案依据与业务可用性分开

RAG 评测至少应区分：是否找到正确资料、是否依据资料回答、用户能否完成任务。一个总分难以解释根因，也可能掩盖关键错误。业务、技术和成本指标应一起看，但不必被压成一个数字。

第一组指标看检索

准备问题与应命中的资料或片段，检查关键依据是否进入结果、位置是否合适，以及是否混入大量无关信息。没有标注正确依据时，可以先由业务人员审阅抽样结果，形成初始参考。

检索指标与任务类型有关。单一事实查询和跨文档比较需要的依据不同。应定义足够支持答案的材料，而不是要求每次检索到全部文件。

第二组指标看回答

检查事实正确、依据支持、条件完整、引用可核查，以及无答案时是否适当说明不足。引用正确性与答案正确性分开：答对但引用错误，仍不利于企业复核。

关键事实的标准由业务人员确定。无法用单一参考答案描述的任务，可以定义允许答案范围、必要证据与禁止推断。

第三组指标看业务任务

记录完成率、审核修改、总处理时间、人工转接和使用情况。模型生成速度属于技术指标，未必等于业务速度。用户需要重新找资料才能信任答案时，应把核查成本算进去。

任务质量与时间一起比较。若降低质量要求才能省时，就不是同等条件的改善。样本难度也应接近，不能用简单问题代表真实业务中的复杂任务。

测试集怎样建立

从实际问题抽样，按任务类别、难度、资料版本和风险划分。包含无答案、冲突、旧资料、越权与输入异常。将用于调优的样例与用于最终检查的任务适当分开。

保留历史失败，但不让评测只剩旧题。资料与使用方式变化后补充新任务，记录增删原因。测试规模由风险和任务多样性决定，不宜把某个通用样本数当成充分保证。

自动评分怎样使用

规则可检查字段、格式和引用是否存在；模型评分可以辅助判断相关性与内容质量；业务人员处理关键任务、歧义和评分争议。三者结合比把全部判断交给一个评估器更可靠。

自动评分也需要校准。抽样比较机器与人的判断，检查是否偏爱更长回答、忽略条件或无法识别业务错误。评分提示和评估模型改变时，同样保留版本。

怎样比较两个方案

固定任务、资料和业务标准，分别运行不同检索、模型或提示配置，报告质量、耗时、成本及波动。最好一次明确主要变化，避免同时改动太多却无法解释结果。

对于关键任务，不用平均分掩盖严重失败。某方案整体得分略高但发生越权或错误执行时，应先处理阻断项，而不是直接宣布优胜。

从评测到持续运营

每次重要更新重跑代表任务，观察线上问题与离线测试是否一致。若用户投诉集中在某类未覆盖任务，先补测试再定位问题。把评测作为改进工具，而不是项目结束时的一张证明。

出现错误时，可沿分层诊断查找根因；准备正式验收时，再结合试点标准约定放行条件。