首席信息安全官 (CISO) 面临的问题并非人工智能是否应该接触客户数据，而是什么样的控制链能够使自主行为可审计且有界限。以下是该链条的逐层结构，以及您仍然需要承担的剩余风险。
错误的问题和正确的问题
当供应商提议让AI代理读取、推理并处理您的客户数据时，安全部门的第一反应是询问是否应该允许这样做。这种问法看似谨慎，但却是错误的问题。“AI是否应该接触客户数据”这个问题没有一个站得住脚的“是”或“否”的答案，因为风险不在于接触本身。它位于模型生成意图到该意图转化为针对真实记录的实际操作之间的执行链中。
更恰当的问题，也是首席信息安全官 (CISO) 真正可以采取行动的问题，是：如何构建一条控制链，使自主行为可审计且有界？自主性本身并非威胁，不受监管的自主性才是。如果您能够列出模型输出与客户记录写入之间的每一个环节，您就可以推断剩余风险、分配责任并做出合理的决策。如果您做不到这一点，任何关于“负责任的人工智能”的政策措辞都无济于事。
这篇文章将这条链从头到尾地展示出来，作为一个深度防御的故事。每个层都由它所解决的特定威胁进行描述，松散地映射到 OWASP 用于 LLM 和应用程序风险的类别类型。整个框架遵循 NIST 人工智能风险管理框架的精神：人工智能风险是一个持续的过程，在系统的生命周期内进行管理和重新测量，而不是您在采购时签署的一次性清单。最后我们会诚实地说明这些控制措施无法解决什么问题。
第一层：验证执行，确保幻觉永远不会成为执行路径
任何代理系统中第一个也是最危险的漏洞，是模型发出类似命令的内容，而运行时却照常执行。语言模型是一个概率生成器；它最终会生成一个原本不应该存在的 string。如果将这个 string 原封不动地传递给 shell 或解释器，幻觉就会变成一条未经检查的执行路径。这是代理系统中的经典注入攻击，也是令安全架构师夜不能寐的威胁。
我们的答案是首先拒绝将模型输出视为可执行文件。 AI 生成的命令会根据静态命令树进行验证，静态命令树是在运行任何内容之前提前定义的已知操作的白名单。不在树中的命令不会执行，完全停止。确实传递的命令通过受约束的 shell=False 样式的执行路径进行分派，其中参数作为离散的结构化参数传递，而不是连接到 shell 将重新解释的字符串中。
其结果是，模型的创造力仅限于在系统已知能够安全执行的操作中进行选择。它无法创造新的操作。一个虚构的指令会在验证边界处被关闭，而不是成为实际执行的操作。这并不能使模型变得正确；它只是使模型的错误变得难以纠正。
第二层：已签名、完整性检查、沙盒化的扩展程序
代理平台通过可扩展性、第三方技能和添加功能的扩展来发挥作用。可扩展性也是供应链的攻击面。这里的威胁是双重的：恶意编写的恶意扩展，以及在作者和运行时之间的某个地方被篡改或损害的合法扩展。无论哪一种，在未经检查的情况下都可以在系统信任的情况下运行。
我们采用加密技术来保障供应链安全。第三方技能使用 Ed25519 进行签名，并在被允许之前使用 SHA-256 验证其完整性。签名会与证书吊销列表进行比对，因此即使曾经有效，签名密钥已被吊销的扩展程序也会被拒绝。这为您提供了溯源信息，并允许您在事后撤销信任，这在发现密钥泄露时至关重要。
溯源是必要的，但并非充分条件，因为已签名的扩展程序在运行时仍可能出现异常行为。因此，获准的扩展程序会在一个三层运行时沙箱中执行，该沙箱限制了文件系统、网络和进程的访问权限。扩展程序只能看到它被允许查看的内容，并且只能访问它被允许访问的内容。我们对此限制进行了明确规定：沙箱是一种实际的折衷方案，它大幅缩小了影响范围，而不是完美隔离的数学保证。它提高了恶意扩展程序的成本并缩小了其影响范围；但它并不能完全杜绝恶意扩展程序的存在。
第三层：通过 MCP 进行受控工具访问
当代理通过工具进行外部操作时，问题就变成了身份、授权和责任核算。潜在的威胁包括：权限过大，代理可以调用它无权调用的工具；成本失控或滥用，代理陷入循环或资源耗尽；以及事后无法还原操作者身份。
每次通过模型上下文协议调用工具都受到四点控制。首先，它通过租户密钥进行身份验证，因此每次调用都携带可验证的身份信息。其次，它按工具进行授权，因此拥有密钥并不意味着授予所有权限，而只是授予该身份所授权的特定操作权限。最后，它受到预算的约束，该预算按每次运行、每天和滚动 30 天窗口执行，并设有终止开关，可以停止活动，因此故障或被劫持的代理无法悄无声息地增加无限制的成本或流量。最后，它受到审计，并进行每次调用的脱敏处理，因此跟踪本身不会成为敏感数据泄露的新途径。
总而言之，这些措施将工具访问权限从隐式能力转变为显式、最小权限、可问责的能力。预算和终止开关尤其针对传统访问控制完全忽略的一种故障模式：代理即使拥有完全授权，仍然会大规模地执行错误操作，因为没有任何机制阻止它。
第四层：来自语义层而非模型的数据
智能分析中一个更为隐蔽的威胁是捏造指标。询问模型某个用户群的表现如何，它会很乐意生成一个看起来正确但完全虚构的 number 值。在市场营销或用户留存方面，一个明显错误的数据可能会在任何人发现模型捏造数据之前，就影响到实际决策、预算调整、营销活动或董事会演示文稿的发布。
我们通过将模型从生成数据的业务中删除来结束这一点。指标数字来自经过认证的语义层、受管理的目录，其中每个指标都有一个定义、一个已知的计算和一个租户范围的查询路径。代理的角色是要求一个度量并叙述结果；它本身无法导出该数字。当系统报告 GMV 或活跃会员或兑换率时，该值可追溯到真实数据的经过认证的定义，而不是听起来合理的令牌序列。
这也是衡量业务影响真实性的关键所在。我们可以指出，McDonald's China将会员贡献的GMV从大约5%提升到85%，正是因为这个数字来自一个明确且可审计的指标，而不是模型的猜测。防止造假的严谨性，正是确保真实结果可信的严谨性。
第五层：租户隔离作为整个技术栈的属性
跨租户数据泄露，即一个客户的数据出现在另一个客户的会话中，是导致信任永久破裂的根本原因。它很少是由单个检查缺失造成的，而是源于组件之间的衔接问题，其中一层假定另一层强制执行了实际上并未强制执行的边界。
因此，隔离被视为一种在多个层面同时强化的属性，而非单一的门槛。身份验证上下文在每个请求中都承载着租户信息。查询范围经过限定，因此数据访问在构建时就被过滤到特定租户。缓存也经过分区，因此一个租户的缓存结果无法提供给其他租户。语义层的读取访问通过基于授权的只读视图进行管理，因此即使是分析查询也受到数据库自身权限模型的限制，而不仅仅是应用程序代码的限制。
这些指标重叠的目的是为了避免单个漏洞演变成安全漏洞。此处的纵深防御并非为了冗余而冗余；而是为了承认任何一道防线都可能出现实施错误，并且跨租户泄露的成本足够高，足以弥补任何疏忽造成的损失。
第六层：对重要操作进行人工审批
最后一个环节刻意避免自动化。阅读、分析、撰写和提案可以自动完成。但激活，即触达客户或促成消费的后续操作，需要经过人工审批。一位拥有权限和相关背景的人员会审核代理的意图，并决定是否执行。
这并不是承认自动化不可信。这是关于责任应该放在哪里的设计选择。有些决策所带来的后果是，组织永远不应该将其委托给概率系统，无论治理得多么良好。让一个人留在激活门上意味着链条的终点是可以追究责任的人，这正是监管机构、董事会或事件审查所寻找的财产。
值得一提的是，审批流程本身也存在一种失效模式：橡皮图章式审批。审批者不经阅读就点击通过的审批流程只是走过场。审批流程的有效性取决于其背后的审核，而审核本身是贵组织必须拥有和审核的控制措施，平台无法代表您做出保证。
您仍然需要承担的剩余风险
完整地构建安全链，包括经过验证的执行、签名和沙盒化的扩展、受控的工具访问、认证的指标、分层租户隔离以及人工审批，从而构建纵深防御体系，其中每一层都针对特定的威胁，任何单一故障都不会造成灾难性后果。这就是首席信息安全官 (CISO) 可以真正签字确认的可控自主权，因为每个环节都可审计且有界限。
我们不会假装它毫无风险。控制措施可以降低风险，但无法消除风险。沙箱是一种切实可行的折衷方案，并非完美隔离。允许列表必须维护，否则就会过时。如果监管不力，审批门就会沦为橡皮图章。撤销列表只有在保持最新时才有效。NIST 的框架之所以正确，恰恰在于它坦诚地指出：人工智能风险管理是一个持续的过程。威胁模型会发生变化，模型会更新，扩展功能会不断增加，而您的保障程度取决于您是否愿意持续重新评估。如果您将此视为一份已完成的清单，那么这种姿态就开始瓦解。
留在你身边的东西，任何平台都不能代表你拥有的东西，都是明确的：允许哪些自治的政策、负责批准大门并实际阅读他们批准的内容的人员、许可名单和撤销列表的维护，以及将日志转化为责任的持续审计。我们的工作是为您提供一条链条，其中每个环节都可以检查。你的工作就是管理它。如果您想针对自己的威胁模型走遍整个链条并决定您的大门属于哪里，请预订演示并提出您最棘手的问题。
相关阅读
继续浏览与此页面最相关的页面。
管道不是循环：为什么只有“积累”才能使保留复合
大多数营销技术都运行着单向管道，并称之为循环。区别在于一个节点——写回——而这正是您可以复制的技术栈与无法复制的优势之间的区别。
了解更多 文章面向人工智能的 SaaS：当您的软件主要用户是代理而非个人时
“AI SaaS”是一个精确的架构主张，而不是一个口号。当代理人是主要消费者时，产品就变成了治理：谁可以行动，代表谁行动，以及以什么成本行动。
了解更多 文章一种词汇，两种受众：为什么您的人工智能和仪表板必须共享语义层
工具是代理使用的动词。语义层是共享词汇表，确保这些动词的真实性。只需构建一次，即可服务于用户和代理，无论谁提问，number 的含义都相同。
了解更多 文章MCP 不是连接器——它是您在代理时代的治理平台
大多数报道将模型上下文协议 (MCP) 描述为管道系统。更具意义的企业级重新定义：MCP 是唯一可审计的平台，用于决定 AI 工具使用的身份、授权、日志记录和成本控制。
了解更多 文章从 Claude Code 和 Slack 运行您的客户平台
解锁功能并非更快的仪表盘，而是一种不同的运行模式：在您的团队已使用的 AI 工具内部集成一个受管代理——以自然语言回答问题并采取行动，无需导出数据或放弃控制权。
了解更多 文章一个身份，千次对话：超个性化时代的品牌声音
缺乏品牌统一性的个性化是与品牌无关的噪音。缺乏个性化的固定标识是无关紧要的广播。前沿在于同时兼顾两者。
了解更多