在线AI教程 / AI入门
[Amazon Bedrock] Taxbit Assist:Amazon Bedrock AgentCore 上有依据且具备角色感知的 AI agent
人工智能 Taxbit Assist:Amazon Bedrock AgentCore 上有依据且具备角色感知的 AI agent Taxbit 是一个数字资产税务与会计合规平台。
人工智能
Taxbit Assist:Amazon Bedrock AgentCore 上有依据且具备角色感知的 AI agent
Taxbit 是一个数字资产税务与会计合规平台。Taxbit 成立于 2018 年,帮助交易所、支付服务和经纪商等企业规模化计算收益与亏损、收集税务文档并申报信息申报表。如今,一个可追溯引用来源、具备权限感知的 AI 助手正在产品控制台内部直接帮助合规团队寻找答案。
但是,熟练使用该控制台所需的知识此前分散在公开网站、API 文档和帮助中心文章中,而且有相当一部分内容从未形成书面文字。当客户询问“此表单状态是什么意思?”时,他们要么自行翻找,要么提交工单。根据 Taxbit 的内部生产分析数据,如今向 Assist 提问的用户中,有超过 55% 会在 24 小时内再次提问。
在这篇博文中,我们将分享我们如何在 Amazon Bedrock AgentCore(一个支持使用任何框架或模型规模化构建、连接和优化 agent 的平台)上构建了 Taxbit Assist——现已嵌入 Taxbit 控制台的 AI 助手。我们将介绍其架构、使回答足够值得信赖以交付给受监管客户的检索工作、我们如何处理安全性与数据驻留,以及如何在实时生产流量上持续评估回答质量。
助手必须做对的事情
在这个领域,通用聊天机器人是行不通的。四大约束塑造了我们的系统:
有依据且可追溯来源(Grounded and cited)– 我们的用户需要做出申报决策。每个回答都必须能够追溯到用户可以打开并阅读的来源;当助手不知道答案时,它必须明确说明。 角色与组织感知(Role and organization awareness)– 助手绝不能引导“支持用户(Support User)”去走仅管理员可用的工作流,也不能把他们引向无法打开的页面。 不提供税务建议(No tax advice)– 解释 Taxbit 如何计算成本基础(用于计算收益或亏损的会计方法)属于产品文档。而告诉用户应该选择哪种方法则是税务建议。两者之间的界限非常微妙。 区域数据驻留(Regional data residency)– 基于单一代码库提供支持,并在生产环境中进行持续的质量衡量。 纳入合规体系(Inside our compliance program)– Taxbit Assist 的开发与运维符合 AI 管理体系国际标准 ISO/IEC 42001。Taxbit 还通过了 ISO/IEC 27001 和 ISO/IEC 27701 认证,并持有 SOC 2 Type II 报告。Taxbit 不训练或微调任何模型,Amazon Bedrock 也不会使用提示词或补全内容来训练模型。
我们也是一个小团队。我们没有自行构建和运维 agent 循环、会话状态存储与会话隔离机制,而是出于三个原因选择了 Amazon Bedrock AgentCore:其托管的 agent runtime 消除了基础设施运维负担;作为 Amazon Bedrock AgentCore 的一项能力,内置的 AgentCore memory 省去了独立的会话状态存储;按会话隔离的设计则保证了每个用户的上下文得到隔离保护。这让我们能够将大部分精力集中在随后的检索与安全工作上。
方案概览
Taxbit Assist 是一个运行在 AgentCore runtime(Amazon Bedrock AgentCore 的一项能力)上的 Strands Agents SDK 应用程序。下图展示了方案架构。

Figure 1: Request flow from a dashboard question through guardrails screening, knowledge base retrieval, model reasoning, permission checks, and response streaming
工作流包含以下步骤:
用户在 Taxbit 控制台中提问。流式聊天 API 将其连同经过验证的用户身份(邮箱、组织 ID 和控制台角色)一起转发给 AgentCore runtime。 runtime 使用 Amazon Bedrock Guardrails 筛查传入的消息。个人身份信息(PII)被就地掩码脱敏。如果消息被拦截,模型绝不会被调用。 agent 从 Amazon Bedrock Knowledge Bases 知识库中检索候选段落,然后在服务端对其重新排序。知识库使用 Amazon Bedrock 完全托管的检索增强生成(RAG)功能,底层由 Amazon S3 Vectors(Amazon Simple Storage Service (Amazon S3) 的一项功能)提供支持。 Amazon Bedrock 模型基于检索到的段落进行推理,并在推荐任何工作流之前验证用户是否对相关功能和角色具有访问权限。有关各 AWS Region 的模型可用性,请参阅 Supported models by AWS Region。 回答连同来源链接流式返回给控制台。AgentCore memory 在多轮对话之间保持上下文。 每个请求都会向 Amazon CloudWatch 发送 OpenTelemetry 跟踪数据,供我们的评估工具使用。
Agent runtime
该 agent 是一个轻量级 Python 应用:包含系统提示词、模型和八个工具。它打包为 ARM64 容器镜像,AgentCore runtime 从 Amazon Elastic Container Registry (Amazon ECR) 拉取该镜像并按需弹性伸缩。
工具的职责划分被刻意收窄:
知识库搜索:主要工具。 两个访问权限检查:一个针对组织授权,一个针对用户的控制台角色。 四个工单工具:用于创建、列出、更新和关闭调用方自己的支持工单。 当前时间:用于需要日内精度的极少数问题。
在此版本中,agent 对客户税务数据没有任何读取权限。它的回答来自产品知识,且唯一能执行的写入操作就是调用方自己的支持工单。
所有工具背后都贯穿着一项关键的安全设计:模型绝不直接处理身份。用户的邮箱、组织 ID 和角色来自可信的调用方服务,并在模型看到工具之前通过闭包绑定到每个工具中。模型可以决定是否检查权限,但无法决定检查谁的权限,因为身份并不是它可以传入的参数。用户输入在边界处被清理净化,因此提示词注入攻击无法仿冒可信上下文行。
agent 通过 Amazon Bedrock 运行基础模型(FM),并通过跨 Region 推理 profile(cross-Region inference profiles)调用。
具备地理位置感知的推理负责处理数据驻留。推理 profile ID 带有基于部署 Region 派生的地理前缀,因此欧盟部署会将推理保留在欧盟境内,美国部署则留在美国境内。除了将推理保持在正确的地理区域之外,我们还支持自带密钥(BYOK)模式。在 BYOK 账户中,对话历史和存储客户数据的其他存储介质均使用客户自己的 AWS Key Management Service (AWS KMS) 密钥进行加密。
应用推理 profile(Application inference profiles)负责成本可见性。每次部署都会将系统推理 profile 包装在带有标签的应用 profile 中,因此每次模型调用都带有成本分摊标签,并在 AWS Cost Explorer 中按工作负载细分展示。
Amazon Bedrock 提示词缓存降低了延迟和 token 成本。系统提示词对每个请求都保持字节级完全一致,并在末尾设置缓存检查点,以便跨用户共享静态前缀的缓存。单次请求的上下文则通过用户消息传入。
在精心整理的知识库中扎根回答
我们的大部分工程精力都投入到了知识库中:一个由 Amazon S3 Vectors 提供支持的 Amazon Bedrock 知识库,使用 Cohere Embed English v3 进行嵌入,生成 1,024 维的 float32 向量并通过余弦距离进行比对。这一切全部由托管服务提供,我们无需自行运维任何向量数据库。
数据摄取
内容来自三类来源,各自存放在同一个 Amazon S3 存储桶下的专属前缀中。
下图展示了内容如何流入索引。

Figure 2: Content ingestion pipeline from published, code-derived, and curated sources through Lambda scrapers into Amazon S3 and the knowledge base
已发布内容排在第一位:我们的公开网站、API 文档和帮助中心文章,由定时调度的 AWS Lambda 函数负责抓取。借助 sitemap 的 lastmod 时间戳与内容哈希,典型的单次运行仅处理自上次运行以来发生变化的内容。范围划定比我们预想的更重要。我们的 sitemap 大约有 400 多个 URL,但只有 70 多个属于应纳入问答语料的范围,仅 /blogs/ 就占了 300 多个营销页面。如果不加剔除,这些宣传内容就会与帮助中心产生竞争,被合规问题引用为来源。排除它们是我们最有价值的检索改进之一,而且完全不需要对模型做任何调整。
第二种来源相对特殊:Lambda 函数读取我们的产品源代码,并生成覆盖控制台路由、权限门禁、表单适用性逻辑和报告配置的 Markdown 文档。这捕获了其他任何文字形式中都不存在的真实产品逻辑,并且由于是从代码本身重新生成的,因此能够始终保持最新。第三种来源是人工整理的内容:手写的文章和经过批准的纠错修正,用于填补自动化来源未能覆盖的空白。
Amazon EventBridge 以错峰的每晚和每周节奏调度抓取任务,且每个爬虫仅在内容有变动时才触发摄取作业。我们将 9 个爬虫按 S3 子前缀划分为三个汇总数据源(product-public/、product-internals/、curated/),从而使相关内容汇聚在一起。
上下文切块
我们选择了语义切块,它会在文档的自然边界处进行切分,在我们的检索测试中表现优于固定大小切块。但是,从文档中间抽取的块会丢失关于该文档主题的上下文。在税务申报中,这种上下文往往决定了整个答案的有效性:一段仅适用于非美国申报体制的段落,如果被返回来回答关于国税局 Form 1099(用于报告付款的信息申报表)的问题,就会产生严重的误导。
为了解决这个问题,我们利用知识库的自定义转换钩子运行了一个 POST_CHUNKING Lambda 函数,在每个切块前面预置其文档的 H1 标题和首段导语(导语通常阐明了该内容的适用范围)。前缀长度上限约为 128 个 token(80 个字符的标题和 300 个字符的适用范围)。由于 Cohere Embed English v3 每个输入最多接收 512 个 token,因此切块主体上限设为 384 个 token,以便头部和正文能一同放入该窗口中。生产探针检测发现,我们大约有 28% 的切块处于 385–512 token 区间,如果没设上限,其末尾内容就会被静默截断。
这是我们所做的影响力最大的检索改进:切块现在将自己的适用范围带入向量索引中,而不再局限于仅存在于文档的首个切块中。
两点实用注意事项:首先,Amazon Bedrock 要求转换过程的中间存储必须是与数据源存储桶分开的独立存储桶。同一个存储桶下的不同前缀会被拒绝。其次,在已有数据源上启用自定义转换会强制进行资源替换,因此需要规划一次完整的重新摄取,而无法原地修改。
检索
在查询时,流水线采用先多路召回再剪枝的策略:
question ─► vector search (75 candidates) ─► Cohere Rerank 3.5, server-side in the same Retrieve call ─► top 12 reranked ─► cap of 2 chunks per source document ─► top 5 passed to the model
重排器在 Amazon Bedrock 内部作为同一次 Retrieve 调用的一部分运行,因此没有额外的服务跨跳。我们保持 75 个候选的宽候选池,因为权威文章通常排在向量排名的第 20–50 位,只有在进入候选池之后才会被重排到前列。对单篇文档的切块上限限制,则防止了某篇切块极多的页面占满所有名额。
引用资格在代码中按来源类型强制执行,而不是依赖提示词指令。只有三个已发布来源才可以被引用,因为只有它们的 URL 能够解析为客户可以打开的内容。来自代码派生和人工整理的内容为回答提供事实依据,但不会生成客户无法访问的无效链接。
安全性与数据处理
三道边界防止一个租户的数据渗入另一个租户的会话:
知识库不包含任何特定租户的内容:仅包含已发布文档、从代码派生的产品参考和人工整理的文章。 授权与角色检查工具从已经对调用方进行过身份验证的服务中获取其组织与邮箱,因此模型无法扩大该范围。 AgentCore runtime 隔离每个会话,且对话历史按 memory、会话和 actor ID 进行分区。该 actor ID 必须来自调用方服务,而不能来自 AWS 调用方身份,因为 runtime 是在单一服务角色下执行的。如果使用推导出的身份,就会把每个用户的历史记录都放进同一个分区。
Amazon Bedrock Guardrails(可根据您的应用需求提供可配置的安全护栏)在 agent 运行前对每条传入消息进行筛查。我们将其作为限定在当前用户轮次的独立 ApplyGuardrail 调用执行,这样避免了在每一轮都对整个对话历史重新扫描。
PII 策略针对税务数据进行了调优。绝不应该流入语言模型的机密信息(例如密码、卡片验证码和云访问密钥)会被直接阻断。格式固定的数字标识符(包括社保号、个人纳税人识别号 (ITIN)、银行账号和路由号、国际银行账号 (IBAN))则会被就地匿名化。这使得 agent 能够协助完成工作流,而无需实际看到具体数值。外部集成的凭证存放在 AWS Secrets Manager 中并在运行时获取,绝不会硬编码到镜像或配置中。
在实时流量上衡量质量
带来最大收益的工程习惯是在生产环境中持续衡量质量,且绝不阻塞响应。下图展示了跟踪数据流如何扇出到四个独立的消费端,以及专家的修正如何反哺回检索系统中。

Figure 3: Evaluation flow where CloudWatch traces fan out to online evaluations, a quality judge, a tax-advice classifier, and human review, with approved corrections feeding back into the knowledge base
AgentCore 线上评估从 CloudWatch 跟踪数据中抽取 10% 的真实会话作为样本,并使用六个内置的 LLM-as-a-judge 评估器对其进行打分:有效性、无害性、连贯性、指令遵循、工具选择准确率和工具参数准确率。结果以指标和分会话得分形式存入 CloudWatch,这样质量回退就会反映在仪表盘上,而不是出现在客户投诉中。
我们在此之上叠加了自己的裁判模型,通过 CloudWatch 订阅筛选器读取相同的跟踪数据流。一个 Lambda 函数对每个抽样的回答依据检索来源的真实性(faithfulness)以及检索文章的相关性(relevance)进行评分,并将结果输出为 CloudWatch 指标。我们将真实性与相关性分开评估,因为一个回答可能忠实于本就不该被检索出来的来源。当这种情况发生时,问题出在检索流水线上,而不是模型本身。
基础模型分类器会检查每个回答是否存在偏向税务建议的漂移。产品文档与税务建议之间的界限过于微妙,主题过滤器无法胜任:“在您自己的钱包之间划转不是应税事件”属于建议,而解释 Taxbit 如何应用 FIFO (First In, First Out) 则属于产品文档。经过带有指令和示例调优的模型达到了接近于零的误报率,而主题过滤器的误报率约为 25%。这两个分类器都不会增加额外延迟。
人工形成闭环。经过对每个问题和回答剔除个人信息后的抽样结果,会被发送到内部评审频道,领域专家可以在其中回复修正建议。获得批准的修正会写入知识库的 curated 前缀中,并触发增量摄取作业,从而使专家的修复在几分钟内就能作用于下一位用户的回答,而无需重新部署。
部署与运维
整个技术栈均使用 AWS Cloud Development Kit (AWS CDK) 定义,因此搭建新环境或满足不同数据驻留要求的新 Region 只需更改配置即可。每个拉取请求都会运行一个离线评估套件:基于预期工具路径和行为进行评判的一组黄金基准场景,从而在提示词和检索改动发布前就对其进行量化评估。该套件每晚也会针对生产环境运行。代码合并后先部署到预发环境,随后在人工审批门禁后部署到生产环境。
成果与成效
Taxbit Assist 自 2026 年 5 月起已在美国和欧盟上线投产,欧盟流量由当地境内推理提供支持。回答扎根于精心整理的知识库并引用其来源,且助手在推荐工作流之前会检查功能可用性和用户权限。对于嵌入式支持入口而言,重复使用率是团队最密切关注的指标。
一个早期的典型例子非常突出。一位正在与 Taxbit 集成以收集税务文档(W-8 和 W-9 表单,即 IRS 预扣税与身份识别表单)的新客户,在构建过程中高度依赖该助手。此前往往需要发送到共享沟通频道或提交支持工单的集成问题,现在得到了即时解答。客户无需等待 Taxbit 的支持团队即可保持集成推进,支持团队也未受到这部分流量的打扰。
每次对话的模型成本平均低于 20 美分。提示词缓存发挥了很大作用:大约四分之三的输入 token 由缓存提供服务,从而将模型成本降低了一半以上。
如果重来我们会做哪些改变
在调优提示词之前先划定语料范围。在我们将索引收窄为支持与文档内容、并为每个切块赋予其所属文档的上下文范围后,回答质量的提升超过了以往任何提示词修改带来的效果。 针对自身流量衡量护栏过滤强度。我们针对自己的流量评估了 Amazon Bedrock Guardrails 的 PII 检测器,并将 PIN 和银行路由号检测器设置为仅检测,这样像 1099 这样的纯数字表单标识符就能正常通过,同时检测器仍能标记真正敏感的数值。 保持系统提示词在字节级的一致性,以便提示词缓存在不同用户之间生效。 从第一个原型开始就在代码中绑定身份。我们早期的测试版本让模型将身份作为参数传递给工具。我们在正式发布前将其移到了调用服务中,从而使被注入的提示词无法自行扩大其访问权限。
下一步计划
目前,该助手基于产品知识回答问题。下一步是打造一个能够回答诸如“我有多少收款人缺少税务文档?”这类问题的助手——通过相同的身份绑定、权限检查工具模式查询客户自己的申报数据。用户提出问题,模型决定使用哪个工具和过滤器,但由经过身份验证的调用方决定该工具可以读取谁的数据,因此模型无法擅自更改。
结论
Amazon Bedrock AgentCore 让一个小团队能够在两个地理区域向受监管的企业客户交付一个有依据、具备权限感知的助手,而无需自行运维编排、向量搜索、内容安全或评估的基础设施。这让我们得以将时间投入到真正重要的地方:语料库、检索流水线,以及在税务信息申报中什么才算是一个好回答。
要了解更多信息,请参阅 Amazon Bedrock AgentCore、Amazon Bedrock Knowledge Bases、Amazon Bedrock Guardrails 以及 Strands Agents SDK on GitHub。
如果您有任何疑问或想分享如何解决类似问题,欢迎留言评论。
关于作者