LUOYU INSIGHTS · AI 落地
企业 AI 试点怎么验收？从演示成功到可衡量的业务结果
建立 AI 试点验收标准：固定范围和测试任务，区分正确、拒答与越权，测量完整任务时间，并明确进入生产的条件。
AI 试点验收应在开发前开始约定。双方需要确认测什么、用哪些任务、什么算错误，以及通过之后意味着什么。否则一方可能认为交出了能运行的原型，另一方却期待得到完整生产系统。
先约定验收对象
至少明确场景、用户、资料版本、系统接口和允许动作。例如“面向一组授权产品资料生成答复草稿”，与“自动回复全部客户并承诺交期”是不同范围。
原型验收看关键路径是否可行；受控试点看代表任务是否达到适用要求；生产验收还要看运行、安全、维护与回退。不要因为试点通过就默认全部生产责任已经履行，也不要用演示环境证明真实接口和数据的可用性。
测试集如何准备
从实际任务中抽样，覆盖正常情况、不同难度、异常和风险情形。每个任务记录输入、资料版本、预期结果、评分依据与复核人。保留没有参与调优的任务，以检查系统是否只记住了测试样本。
生成式系统可能对同一问题产生不同回答。重要任务可重复测试并记录波动，不能只保存一次最好输出。测试集中若缺少旧版本、无答案或越权任务，即使平均分高也难以说明控制有效。
| 测试类别 | 关注什么 | 失败后怎么办 |
|---|---|---|
| 正常任务 | 事实、完整性、引用与可用性 | 分析资料、检索或生成问题 |
| 缺资料 | 是否说明不足而非编造 | 补拒答与人工转接 |
| 冲突或过期 | 能否识别有效版本 | 明确版本和来源优先规则 |
| 越权请求 | 是否暴露受限内容 | 作为关键缺陷处理 |
| 工具异常 | 超时、重复提交、错误写回 | 校验、重试与回退设计 |
指标不能只剩一个准确率
知识类应用至少分别看事实正确、引用有效、答案可用、拒答适当、任务完成时间和运行成本。行动类应用增加参数正确、审批、执行结果与重复副作用检查。
平均准确率的分母要清楚：按问题、事实点还是任务计算？部分正确怎么记？应该拒答的问题答出了内容，不能因为语句流畅就记为正确。评分有争议时由业务复核，而非全部交给另一个模型自行裁决。
将任务、预期结果、评估方法和运行记录一起保存，才能比较不同版本。业务验收还需要客户确认标准，不能只依赖某个评测工具的默认分数。
阈值如何设定
阈值应由业务后果决定，不宜对所有项目统一写“准确率百分之九十五”。对于草稿润色和关键规格判断，错误容忍度不同。应先区分关键、重要和一般缺陷，再约定各类处理方式。
可采用“关键泄露或错误行动未解决不得放行，其他指标按任务类别评估”的方式。这里不是承诺任何测试能证明绝对零风险，而是明确发现关键问题后的决策规则。
效率怎样测量
记录从任务开始到最终批准的总时间，包括找依据、等待、人工核查、修改与返工。与原流程使用可比较任务，并报告任务量与难度。系统生成快但需要更多复核，可能不构成净效率改善。
对于价值测算，时间容量与现金收益分开。测量口径见AI 项目 ROI。缺少足够样本时应写成初步观察，不将小样本效果直接外推到全部员工。
验收会议的五项成果
- 对照原范围说明已完成和未完成内容。
- 展示测试集、样本量、结果和已知局限。
- 明确未解决问题、责任人与修复时间。
- 确认当前成果允许在什么环境和范围使用。
- 记录继续、补测、调整或停止，以及费用和交接。
客户负责人、项目负责人和评审人员应知道自己确认了什么。签字不应被当成把所有未知风险转给某个人的形式动作。验收后更换模型、规则或资料版本时，还需要相应回归测试。
通过试点之后怎么办
先检查正式环境、账户、成本、维护、异常响应和回退。若缺少这些条件，下一步应是生产准备而非直接扩大用户。可以沿原型到生产清单逐项确认。