智能体可信怎么做？——2025 行业研讨会纪要

会议主题：智能体可信与安全合规
时间：2025 年 6 月 12 日
地点：北京中关村智算中心
参会人员：

• 主持人：李倩（某AI产业联盟秘书长）

• 发言人1：王志强（大型制造企业 CIO）

• 发言人2：周一鸣（AI安全实验室主任）

• 发言人3：陈瑶（互联网平台合规总监）

• 记录人：我

开场

主持人：
“智能体落地越来越多，‘可信’已经不是概念，而是每个行业必须面对的落地问题。今天我们按三个环节聊：可解释性、安全合规、持续验证。”

一、企业 CIO 的现实担忧

王志强：
“我们车间里用的视觉检测智能体，有一次误判，把一批合格零件打成不合格。幸好人工复核发现，不然后果严重。
所以可信不是说‘系统运行很稳’，而是要能回答**‘为什么做出这个判断’**。
我们的需求很直接：

1. 每个判定必须有记录，能追溯。

2. 出现异常，要能快速回退到上一个稳定版本。

3. 不允许‘黑箱’。”

二、安全实验室的技术视角

周一鸣：
“我们把可信拆成三个层：

• 数据可信：来源合法、标注可靠、防篡改。

• 模型可信：可解释、可验证、可复现。

• 运行可信：监控、预警、应急机制。

做实验时我们发现，很多事故不是算法错，而是数据被污染，比如训练集混入了无关图片，导致模型在边缘情况全崩。
所以建议企业在部署前做一次‘数据体检’，包括采集、清洗、标注、存储全流程。”

三、合规总监的提醒

陈瑶：
“可信还得过法律关，尤其是涉及个人信息、金融数据、医疗记录的智能体。
我们公司做过一个清单：

1. 数据收集要有用户知情同意。

2. 跨境传输要符合目的地法律。

3. 数据保留期限要明确，并有销毁机制。

4. 第三方调用接口要限制权限，避免滥用。

不然出了事，不仅是技术问题，还有法律责任。”

四、现场讨论的几个关键词

• 可追溯：出现异常，能一步步还原当时的输入、输出、环境参数。

• 多方验证：不仅开发方验证，还要有第三方测评。

• 灰盒测试：介于黑盒和白盒之间，既测性能，又能看部分内部逻辑。

• 实时监控：不仅在上线前测，运行中也要监控关键指标。

五、总结（主持人）

“可信建设要落到细节，不能停留在口号上。建议大家回去以后，先做三件事：

1. 把可追溯机制补齐；

2. 明确异常回退流程；

3. 至少找一次第三方测评做交叉验证。

可信不是一次性项目，而是一个持续管理的过程。”

记录人注：
会议结束后，不少企业代表还围着周一鸣问“灰盒测试”怎么做、数据体检用什么工具。这种会最大的价值，不是概念输出，而是让大家带着落地步骤回去。