LUOYU INSIGHTS · AI 落地

企业知识库回答不准怎么办?按资料、检索、生成和流程定位问题

将 RAG 错误拆为资料、检索、生成与工作流问题,通过可复现样例、分层测试和受控变更定位根因,避免只改提示词。

珞瑜云科 · 研究与观点约 4 分钟阅读

知识库回答不准时,先定位哪一层出错,再决定改资料、检索、模型还是流程。只反复修改提示,可能让正常问题变好,却掩盖真正的缺失或权限问题。调试应该留下可复现证据。

先保存一个完整失败样例

记录问题原文、用户角色、资料版本、检索结果、模型配置、最终回答和业务预期。如果只能复述“昨天答错了”,后续很难区分数据变更与偶然波动。

错误样例应来自实际使用,也可以包含人工设计的边界任务。处理敏感内容时按项目约定保存必要信息,不为调试无限复制原始资料。

第一层:资料中有没有答案

由业务人员确认有效资料是否包含所需依据。资料缺失、过期、冲突或扫描识别错误,不能仅靠模型生成修复。先确定哪个版本有效,以及缺少资料时应该怎样回应。

若两份手册适用不同地区,不能简单删除其中一份。应补上地区与适用条件,使系统能够正确区分。修复资料时同时检查其他使用相同材料的任务。

第二层:是否检索到正确片段

答案在资料中,但检索没找到,才需要进一步检查关键词、术语、切分、索引和排序。把任务和已知正确片段对应起来,分别观察是否被召回、位置是否靠前、上下文是否足够。

表现可能原因首先检查
型号完全找不到编码或索引问题原文、字段与处理记录
找到相似产品术语、过滤或排序问题型号与适用条件
找到数值却漏条件切分破坏上下文标题、表格与相邻说明
总出现旧资料版本规则缺失生效与失效设置

“可能原因”不是自动诊断结论,要用样例验证,不宜一次同时调整全部参数。

第三层:资料正确但回答错误

若上下文已包含正确依据,检查是否混淆对象、遗漏限制、计算错误、过度推断或引用不支持的结论。可以将预期答案拆成必须包含、不可出现和需要说明不确定性的内容。

引用链接存在,不等于对应段落支持答案。模型将两条分别真实的信息拼成错误结论,也需要通过事实级检查发现。必要时用结构化输出或单独校验关键字段,但仍要测试。

第四层:流程是否误用了正确回答

系统可能返回正确草稿,但前端丢失警示、用户未看到待确认项,或自动发送了尚未审核内容。这属于流程和界面问题,不应归咎于模型。

还要检查权限:某用户本不应看到资料,检索“答得很准”反而暴露了缺陷。调试时必须保留用户上下文,不能只用管理员账户复现所有问题。

改动后怎样避免引入新问题

建立修复样例和回归样例。每次明确改变什么、预计解决什么,再比较正常任务、边界任务和成本。更换模型可能改善表达,却增加耗时,或改变拒答行为,不能只看原失败题是否答对。

保留配置版本和结果,必要时恢复。相同错误持续出现时,应重新检查业务定义与资料,而不是无限增加提示限制。

怎样组织错误队列

按影响排序:泄露、错误动作和关键事实优先;再处理反复出现的任务失败;文风等体验问题单独管理。记录负责人、原因、修复、复测和关闭条件。

问题频次也要有分母。一天三次投诉与每千次任务三次失败不是同一口径。结合评测指标和资料版本管理,才能让修复逐步形成可维护的机制。

TURN INSIGHT INTO ACTION

从您的业务问题开始。

探讨 AI 应用场景 →