在线AI教程 / AI工具
[Amazon Bedrock] 代理人工智能的负责任人工智能:平台和应用程序团队的分阶段路线图
人工智能 代理人工智能的负责任人工智能:平台和应用程序团队的分阶段路线图 企业构建 agentic AI 平台,是为了治理 agent 所使用的应用、工具、skills、模型与存储
人工智能
代理人工智能的负责任人工智能:平台和应用程序团队的分阶段路线图
企业构建 agentic AI 平台,是为了治理 agent 所使用的应用、工具、skills、模型与存储。生成式 AI 模型的不确定性带来了此前的软件开发实践未曾预料到的复杂性。设想一个从检索到的数据生成房源信息的房产应用:它是准确反映了这套房产,还是幻觉出了并不存在的特征?再设想一个以内部知识库为依据的客服 agent:你能验证它不会泄露机密信息吗?
直到不久前,负责任 AI(RAI)仍以模型为中心,范围限定在机器学习开发生命周期之内:训练、测试与推理。模型不推理、不使用工具,也不采取行动。当讨论扩展到由模型驱动的系统时,它覆盖的仍是可以拿已知输入去测试的、统计上有界的情形。由生成式 AI 驱动的应用与 agent 改变了这一点。这些系统现在会推理、会行动、会动态组合工具,并跨越多个步骤交互,既拓宽了负责任 AI 必须覆盖的范围,也加深了它需要触及的深度。
组织正通过尽早应对不断扩大的范围,把负责任 AI(其中包括安全与隐私、真实性与鲁棒性、公平性、安全性、可控性、可解释性、透明度与治理这些支柱)变成一项增长战略。当企业大规模采用 agentic AI 时,正面与负面影响会一起到来。正如 Wade 和 Wirtz 在 Harvard Business Review 中所观察到的,信任正在成为一项竞争差异化优势。那些能在大规模上实现个性化的能力,同样也能用于监视与歧视,而对它们加以治理的组织会赢得利益相关方的信任。例如,Robinhood 在 Amazon Bedrock 上构建了一个数据治理严格的生成式 AI 金融犯罪 agent。他们实现了 20% 的效率提升,同时保持监管合规。下一步是把这些实践按平台成熟度组织起来。本文中,我们把管理平台的团队称为平台团队,把在平台之上构建的团队称为应用团队。应用团队有时也叫工作流团队,在平台上构建并拥有 agent。
本文为基于 agentic AI 构建的平台团队和应用团队提供一份浓缩、可执行的路线图。它设计成双方一起读:平台团队搭好护栏,应用团队在护栏之内构建。双方都需要一套共同语言,用来描述自己处在哪个阶段、什么才算好。我们提供一个负责任 AI 评估 Skill,它把 AWS Responsible AI Lens 的各支柱映射到一个三阶段成熟度模型:治理基础、试点部署、评估与加固。对每个阶段,它都会指出哪些负责任 AI 支柱至关重要、何时需要回头重看。随附的记分卡让应用团队和平台团队都能评估自己今天所处的位置,并随着应用成熟而迭代。
注意: 本文覆盖每个阶段要问的关键问题,略去了逐步的实施细节。本文也不提供法律或合规建议。请务必咨询自己的法律团队。
挑战
在与构建 agentic AI 平台的客户交流时,有四个挑战反复出现。
不可预测的运行时行为:不确定的输出、目标漂移,以及一个 agent 的错误跨服务传播所导致的级联故障。德国的一家金融服务公司发现,多 agent 编排把一次误分类放大成了三个下游服务上的政策违规。 数据暴露与权限边界:把每个 agent 限定在它本应服务的租户、数据、系统与操作范围内。隔离会话上下文,让每个会话从访问层就带着数据驻留要求开始,并通过 agent 无法自行修改的最小权限、任务绑定权限来授予特权访问。这样 agent 只会在被明确授权的系统里、以被明确授予的权限行事。 监管节奏:EU AI Act、ISO 42001、NIST AI RMF 以及即将出台的立法,正以治理难以跟上的速度制造合规要求。要证明不确定系统的合规性,需要持续评估,并按预先定义的节奏(例如每天、每周或每月)监控和重看。 团队协作:组织缺少一套共享框架,来界定 agent 生命周期里谁拥有什么。英国的一家媒体公司指出,对 agent 工作负载而言,开发团队与部署团队之间的职责分离并未定义。平台团队构建护栏,应用团队却绕着护栏行事;应用团队则把自认为平台会负责的责任放到一边。

图 1:agentic AI 平台在负责任 AI 方面带来了新的挑战。
解决方案:三阶段负责任 AI 成熟度框架
本文采用 AgentOps:使用 Amazon Bedrock AgentCore 大规模运营 agentic AI 中描述的 agentic AI 平台定义:一个用于大规模、安全地构建、部署和运营 AI agent 的系统,涵盖治理、构建与运营、评估以及可观测性。你的负责任 AI 姿态应当随这个平台一起逐步成熟。我们把这段旅程拆成三个阶段,并在可定制的 12 周实施时间线上给出有优先级的负责任 AI 支柱,让平台团队能在首批用例成形的同时打下坚实的负责任 AI 基础。

图 2:本文提出的 agentic AI 平台负责任 AI 成熟度框架概览。团队分三个阶段引入负责任 AI。
阶段 1:治理基础
重点支柱: 治理、安全与隐私
在这个阶段,评估项目适配度、风险与伦理,取得法律与合规批准,并为 AI agent 定义信任模型。应用团队用一套风险评分标准为每个计划中的用例分类。平台团队专注于搭好核心 landing zone 基础设施,例如建立全局监控与访问控制,并从一开始就治理新引入的 agent 与用例。
这一阶段需要重点考虑的任务包括:
安全与隐私
评估每个 agent 所需的数据与系统访问权限,并评估潜在影响。这一步为 knowledge grounding 策略打下基础。 通过数据分类、数据访问控制、日志记录、数据完整性与数据访问监控,落实基础的数据安全与数据外泄防护。 梳理 agent 之间共享的数据,例如组织级知识库,以及单个 agent 可能需要的主观性数据,例如上下文图;然后建立访问边界,并据此分配读/写权限。
治理
定义一套风险分类标准,使之与你的监管义务对齐(EU AI Act 风险分级、金融服务业要求等)。为每个计划中的用例指派低 / 中 / 高 / 不可接受的风险等级,并记录每个风险等级所触发的控制要求。收集相关文档与可追溯性要求。 在引入 agent 之前,底层模型需要经过一道审核流程,其中包含一系列针对安全性与可靠性标准的评估。按能力、延迟和成本对已批准的模型编目。 建立一套流程,对组织中部署的 agent、共享工具和 skills 等产品进行集中登记与治理,实现集中可见与使用。每个产品都要登记 owner、风险等级与监管范围。如果某个资源(agent、工具、skill)不在登记表中,组织就无法发现和管理它。
阶段 2:试点部署
重点支柱: 安全性、真实性与鲁棒性、可控性、安全与隐私
部署你的第一个 agent,让它交付可度量的业务价值。借助平台团队提供的模板与开发者指引,应用团队实现编排模式、记忆、护栏基线、knowledge grounding 与工具使用模式。基础阶段识别出的风险,现在必须在试点实现里通过一组具体控制措施加以处理。
这一阶段,应用团队需要考虑以下方面:
安全性
护栏。平台团队为模型 I/O 与工具调用建立基础的个人身份信息(PII)脱敏过滤器,并提供一组可直接套用的护栏规则。应用团队再根据 agent 所服务的用例,明确设定内容审核阈值。为低置信度的回答配置人工升级。 策略。定义哪个 agent 能访问什么工具、怎样访问。补充策略违规时的回退场景。
真实性与鲁棒性
带校验的 knowledge grounding:即使上下文正确,模型仍可能幻觉或曲解所提供的来源。因此要配置上下文 grounding 校验,核实每一个回答都正确建立在相关数据之上。对受监管的用例,启用 automated reasoning 以得到可验证的输出。建立流程来整理和更新你的知识来源。定义域外请求如何分类与处理。
可控性
为高风险操作或代他人执行的操作实现人在回路审批,作为熔断机制。定义 agent 何时必须移交人工审批人/复核人的标准(例如置信度低于阈值、触发安全护栏、或属于高风险决策)。记录升级事件,供后续审计与分析。 向最终用户提供权限审计,以便其授予/撤销人工用户或曾向子 agent 授予权限的 agent 所提供的访问,从而获得透明的控制。 启用端到端可观测性,覆盖会话级、trace 级与 span 级遥测。为 agent 决策、护栏调用与工具调用输出结构化 trace。在多 agent、多工具工作流上实现分布式追踪,以支持完整重建 agent 的推理路径。增加仪表盘,实现 360 度可观测性与成本控制。
安全与隐私
建立最小权限访问控制。用声明式策略语言定义基于策略的工具级访问授权规则。针对 agent 操作以及每个知识来源施加细粒度访问策略。
阶段 3:评估与加固
重点支柱: 公平性、可解释性、透明度、安全与隐私
你已经看到第一个 agent 交付了业务价值。但你怎么向监管机构、审计师或董事会证明这一点?又怎么发现并帮助阻止系统上的未授权事件?在第三阶段,评估会对公平性阈值与偏见基准做压力测试,加固则把这些发现变成修复。
这一阶段包含以下工作流:
公平性
模型级公平性测试:检查模型卡中的公平性指标,并把模型访问限制在一份经过常见偏见测试的预批准模型清单内。如果没有提供指标,就用成熟基准集自行测试偏见与对齐情况,例如 Compositional Evaluation Benchmark(CEB)或 Holistic Evaluation of Language Models(HELM)。监控输出与路由是否公平对待不同人群。 agent 级公平性测试:评估端到端的 agent 路由(包括工具选择)和资源分配是否公平对待不同用户群体。 公平性回归监控:建立自动化流水线,在模型更新或新增数据源时检测公平性随时间发生的漂移。
透明度
对机器生成内容实施可强制执行的透明度:为每个可复用输出附加机器可读的来源标签,让下游消费者能够核实出处。在面向用户的交互中强制披露 AI 的存在。 决策审计轨迹:每次 agent 动作都记录足够细节,以便重建某个结果对应的推理路径。例如,agent 访问了什么、何时访问、以哪个身份访问。
可解释性
为一次假想的审计或申诉编制审计报告:确保你能快速汇总相关数据,并理解某个决策是如何做出的。 面向用户的解释:按需向最终用户提供通俗语言的摘要,说明 agent 为什么采取了某个动作或给出了某项建议。
安全与隐私
持续评估:建立评估流水线,在部署前后都做评估,记录结果。实现告警机制,在指标跌破预先定义的质量阈值时收到通知。 针对 agent 特有的威胁模型开展渗透测试与红队评估:提示词注入、并发访问下的租户隔离、配置错误的 profile 导致的 token 交换,以及长时间运行的异步 agent 任务。定义专门面向 AI agent 安全事件的安全事件响应 runbook。为安全关键事件配置自动告警。 根据生产反馈迭代地细化发布标准(评估分数、安全扫描结果、公平性指标)。把部署闸门构建进持续集成与持续交付(CI/CD)流水线。任何东西只要没达到其风险等级对应的发布标准,就不能进入生产。
何时重看
负责任 AI 不是一次性实现。随着平台演进,每个维度都必须定期重新评估。下表给出了一些例子,用来定义固定的复核节奏和事件驱动的重评估触发条件。
固定节奏 对范围内的 agent 做合规评估:刷新文档、重新收集证据、复核人工监督日志。复核风险分类、事故复盘。复核引入与下线流程。持续评估,包括自主的漂移检测、风险评分与告警。跟踪 Guardrails 的假阳性与假阴性率,按需调整。持续刷新知识库,移除过时文档。 触发条件 新用例引入。新增模型或模型更新。新增工具。引入新客户群。识别到新风险,例如发现新的安全威胁。agent 更新,例如新增 system prompt。合规或监管变化。agent 行为变化。
示例用例与实现
考虑下面这个案例:一家银行构建多 agent 贷款处理平台。平台包含受理 agent、风险评分 agent、合规 agent 与客户沟通 agent。
阶段 1(治理基础):平台团队收集用例的法律要求,例如源自 EU AI Act 和金融监管的要求,并使用 AWS Agent Registry 把 agent 登记为高风险等级(影响个人的财务决策)。他们使用基于 AWS Control Tower 构建的安全 landing zone,开启基础日志与访问控制,并配置租户隔离以帮助防止跨客户泄露。团队记录每个 agent 的残余风险与范围:例如,如果受理 agent 产出了非预期的数据,风险评分 agent 会在没有独立验证的情况下处理它的输出。
阶段 2(试点部署:验证与上线):风险评分使用以监管贷款文档为依据的 Amazon Bedrock Knowledge Bases。Automated Reasoning 检查核实拒绝决定符合有文档记录的准则(是一致性校验,不是因果解释)。Amazon Bedrock Guardrails 脱敏 PII之后,数据才进入客户沟通。为弥补多 agent 之间的信任缺口:评分 agent 会从源系统确认关键申请人数据,而不是只依赖受理 agent 的抽取结果。每个 agent 都通过 AWS Identity and Access Management(IAM)权限被限定在所需的工具上,团队还用 Amazon Bedrock AgentCore 中的 Policies进一步把风险评分 agent 限制为只读访问它被批准的客户群。如果 Automated Reasoning 检查返回的结果不是 VALID(例如 SATISFIABLE 或 TRANSLATION_AMBIGUOUS),或者申请人的风险分数落在边缘区间(例如阈值的 ±5 分以内),案件会在决定传达之前自动升级给人工信贷专员(人在回路复核)。升级事件连同触发条件一起记录,供审计使用。
阶段 3(评估与加固:持续监控):Amazon Bedrock AgentCore Evaluations是 Amazon Bedrock AgentCore 的一项能力,在每次流水线推送时运行。如果评估结果低于发布标准,或按子组统计的公平性指标漂移超出阈值,CI/CD 就阻止部署。红队演练(由独立安全团队执行)对受理 agent 测试贴近现实的安全威胁,验证它无法影响评分。拒绝决定先由人工复核,在 60 天内完成 2,000 次对齐决策后,转向通过申诉流程的事后复核。决策过程中使用 AI 的情况会透明地告知客户。每个自动化决策都用 Amazon Bedrock AgentCore Observability(Amazon Bedrock AgentCore 的一项能力)做端到端追踪。它会捕获可自动聚合为单条分布式 trace 的 OpenTelemetry span,随时可供审计与申诉使用。
如何衡量成熟度
框架是愿景,度量才带来问责。当平台投入运行时,来自 CISO 或审计师这类利益相关方的问题必然会浮现,比如「你能列出一个用例的风险等级吗?」。为了让你有所准备,我们提供了一个仓库,里面是一组问题,你可以用它们在系统上线前评估当前姿态并找出改进点。
我们同时把这份问卷打包成一个可移植的 skill,供 Amazon Quick 这类 AI agent,以及 Kiro、Claude Code、Codex 这类 AI 编码助手使用。AI 会带你走完每个阶段,并按各维度以 1–5 分评估你的负责任 AI 姿态。低于 4 分意味着存在应当整改的重大风险。4 分及以上意味着残余风险,在逐案确认的前提下可能可以接受。AI 还会给出可执行的建议,帮助你改进负责任 AI 姿态。

图 3:一个可移植的 AI skill,通过一组问题帮助团队评估自己的负责任 AI 姿态。
结论
负责任 AI(RAI)是一项持续、不断演进的工作。我们建议组织沿着 AgentOps 旅程落实 RAI 各支柱。这些最佳实践把治理策略、评估闸门与生产遥测带入 agentic AI 平台,从而形成反馈闭环,让公平性、安全性与透明度得到持续度量与改进。
这个框架是起点,不是详尽的合规检查清单。RAI 实践因行业、用例与要求而异。组织应咨询自己的法律、合规与伦理团队,把这些建议裁量适配到具体的监管义务与风险画像。
若要系统地了解负责任 AI 在各工作负载类型上的做法,请参阅 AWS Well-Architected Responsible AI Lens,它针对本文讨论的八根支柱逐一给出详细的最佳实践、设计原则与评估标准。行业特定指引可参阅金融服务业 Lens与医疗行业 Lens,它们处理行业特有的监管与伦理要求。今天就可以从这个 repository 安装 RAI 评估 skill,用你惯用的 AI agent 评估组织的 RAI 姿态。
关于作者