直接回答
企业AI智能体验收不能只做几次现场演示。应建立包含常规任务、边界问题、错误输入、越权请求和应拒绝场景的真实脱敏测试集,为每条样本写明预期结果、证据要求、允许误差和风险级别,再按统一版本重复测试。
很多AI项目演示顺利,上线后却在真实表达、缺失字段和权限边界上出问题。石家庄企业在试点阶段就应积累测试集,让“好不好用”变成可复验的结论。

测试集从哪里来
优先选择历史工单、真实问题、标准流程、常见错误和高风险例外,经脱敏后由业务人员确认。不要全部由项目团队临时编写,因为过于标准的问题不能代表真实使用。
每条样本至少记录六项
- 用户问题或任务输入;
- 适用角色和权限;
- 标准答案或正确动作;
- 必须引用的数据与依据;
- 允许的表达差异;
- 风险等级及失败处理。
五类样本缺一不可
常规成功样本验证基本能力;模糊和缺失信息样本检查追问;过期或冲突资料检查证据选择;越权请求检查权限;危险动作和未知问题检查拒答、暂停与转人工。
不要只算一个总分
低风险问题答错和高风险越权不能按同一权重平均。应分别统计任务完成、事实与引用、权限、安全、稳定性和人工接管。高风险红线未通过时,即使总分很高也不应上线相关能力。
变更后必须回归
知识、提示词、模型、接口、权限或业务规则变化后,都应使用固定核心样本回归,同时把新出现的典型错误加入测试集。保留版本和结果,才能判断一次调整究竟改善了什么。
常见问题
测试多少条才够?
没有统一数量。先覆盖主要任务和全部高风险边界,再根据错误分布持续补充;覆盖质量比追求整数更重要。
供应商提供的测试报告可以直接采用吗?
可以参考,但企业仍需用自己的数据、权限和流程独立验收。
可结合企业AI智能体评估方法建立业务指标和上线门槛。