引言:AI智能体治理的核心,正在从“内容审查”转向“动作控制”
企业对人工智能的使用,正在从“让AI生成内容”进入“让AI完成任务”的阶段。过去,生成式AI更多承担资料检索、文本起草、会议纪要、代码辅助等工作,企业关注的风险主要是输出内容是否准确、是否侵权、是否泄露输入信息、是否存在偏见或不当表达。
但AI智能体(AI Agent)的风险结构已经发生变化。智能体不只是回答问题,而是可能根据目标自主规划步骤、调用工具、访问数据库、修改系统记录、发送邮件、提交表单、执行代码、触发付款或与第三方系统交互。也就是说,AI的风险不再只是“说错了”,而是可能“做错了”。一旦智能体拥有写入、发送、删除、付款、部署、导出或提交能力,其行为就可能直接引发财产损失、数据泄露、合同责任、劳动争议、消费者权益争议、科技伦理风险以及监管责任。
正因如此,企业部署AI智能体时,不能仅仅制定一份《AI使用规范》,也不能只在系统提示词中写明“高风险动作须经人工确认”。笔者在为企业设计AI部署、数据合规和智能化业务流程治理方案时,反复遇到一个非常具体的问题:企业并不缺“人在回路”的原则,真正缺的是“审批节点”的设计能力。所谓审批节点,是指在智能体执行某一项高风险动作之前、执行过程中或结果生效之前,由适格人员进行审查、确认、驳回、修改、升级或中止的控制环节。
本文拟讨论的,正是企业如何围绕高风险动作设置审批节点。本文的基本判断是:AI智能体治理的关键,不是让企业审批所有AI输出,而是按照动作风险、数据敏感度、外部影响、可逆性、伦理风险和法律后果,把审批节点嵌入智能体行动链条,并通过系统权限、工具调用控制、日志留痕、伦理审查和持续审计确保其不可绕过、可追踪、可问责。