在线AI教程 / AI部署
[Amazon Bedrock] Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由
人工智能 Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由 今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV aware
人工智能
Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由
今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV-aware routing),这是面向实时端点的一种新路由策略。它利用模型容器上报的缓存状态,把每个请求发送到已经为其提示词持有较长缓存匹配、且负载不过高的实例上。它面向那些用大型语言模型(LLM)承载多轮对话、长共享提示词或高负载的团队。你需要在两处开启它:给模型加一个环境变量,让容器上报其缓存内容;在端点配置中把 RoutingStrategy 设为 KV_AWARE。客户端仍像以前一样调用端点,API 不变。
它要解决的问题是这样的:聊天助手、检索增强生成(RAG)、以及带长系统提示词的 agent 等 LLM 应用,会发出大量以相同文本开头的请求。模型会把针对某段提示词所做的计算保留在 GPU 内存里,也就是 KV 缓存;当相同的开头再次到达同一实例时,就跳过这部分计算。在本系列第 1 部分中,我们为 Amazon SageMaker AI 推出了前缀感知路由,它把开头相同的请求发送到同一实例。前缀感知路由仅凭请求本身推断前缀缓存在哪里,因此无法判断某个实例是否已经淘汰了该缓存。
前缀感知路由只根据请求本身挑选实例。它对请求开头做哈希,哈希范围到你所配置的 PrefixLength 为止(对 InvokeEndpoint 是 payload 的字节数,对 OpenAI 兼容的 Chat Completions API 则是消息文本的字符数),并把开头相同的请求发到同一实例。它从不知道实例实际缓存了什么。当每个请求都以相同的共享文本开头时,这种方式效果很好;但有两种情况效果会变差:
实例上的缓存会随时间变化。当 GPU 内存占满时,实例会淘汰较旧的 KV 缓存条目,但路由器仍源源不断地把匹配的请求发过去,仿佛缓存还是热的。
对话一开始很短。在多轮聊天中,每一轮都会往历史里追加内容。只要请求长度还短于 PrefixLength,每一新轮都会改变路由器做哈希的文本,于是下一轮可能落到与缓存了前几轮的实例不同的实例上。只有当请求长度超过 PrefixLength 之后,一次对话的各个轮次才会留在同一个实例上。
本文将介绍 KV 感知路由的工作方式、适用时机,以及如何在单模型端点和推理组件端点上启用、调用并验证它。
KV 感知路由的工作方式
KV 感知路由由三部分组成:模型容器上报自己缓存了什么;SageMaker AI 为端点维护这份状态的托管缓存索引;端点再借助该索引为每个请求选择实例。
当你通过 SM_VLLM_KV_EVENTS_CONFIG 打开事件后,容器每次存入或淘汰缓存条目都会发布一个 KV 缓存事件,SageMaker AI 用这些事件让索引保持最新。索引里只存指针:缓存内容的单向、截断哈希,每个哈希映射到持有它的实例或推理组件副本。它从不存储提示词、token ID、请求 payload 或 KV 张量。请求到达时,端点对提示词做分词(tokenize),再用这些 token 在索引中查询。索引返回的是:哪些实例或推理组件副本的缓存中存有该提示词的一部分,各自存了多少。例如,如果实例 A 缓存了某次对话的开头,那么该对话的下一轮就会发往 A。由于索引按 token 而不是固定字节数进行匹配,多轮历史在增长过程中仍能整体匹配。即使请求只共享提示词的一部分,它仍会被发往匹配最长的实例。
随后,端点在这些候选之间做选择:衡量每个候选缓存了该提示词的多少,以及它有多忙。太忙的候选会被跳过,因此如果匹配最长的实例正忙,请求就交给下一个可用的次优实例。如果没有任何候选有可用的匹配,或者所有候选都忙,请求会回退到负载感知路由,详见「路由开销与回退」一节。你不需要像前缀感知路由那样为此配置并发阈值。索引还会跟随实例池的变化:缩容时,被移除实例的条目会被丢弃;扩容或更新替换实例时,新实例的缓存是空的,因此短时间内延迟可能偏高。

图 1:SageMaker AI 端点上的 KV 感知路由。路由器查询托管缓存索引,把请求转发到持有最长缓存匹配的实例。每个实例都把 KV 缓存事件上报回索引
图 1 中,该端点有三个实例 A、B、C。每个实例都在自己的模型容器(即「要求与限制」一节列出的 AWS vLLM Deep Learning Container)中运行同一个模型,并在 GPU 内存里各有自己的 KV 缓存,因此每个实例持有的缓存内容各不相同:A 持有对话 1 的第 1 至第 3 轮,B 持有对话 2 和对话 3,C 持有文档 7。当对话 1 的第 4 轮到达时(步骤 1),路由器对它分词,并在托管缓存索引中查询(步骤 2)。索引显示 A 持有该请求 6,200 个 token 中的前 6,000 个,于是路由器把请求发给 A(步骤 3),A 只需计算剩余的 token。如果 A 忙,路由器则把请求发给最不忙的实例(步骤 4)。KV 感知路由需要多个候选目的地,因此只有在至少两个实例、或推理组件至少有两个副本时才会生效。只有一个实例时,所有请求都会发往该实例,这项设置不会产生任何效果。
SageMaker AI 上的路由策略
随着本次发布,SageMaker AI 为实时端点提供了四种路由策略。你可以在端点配置的 RoutingConfig 中,按生产变体(production variant)分别设置策略。
策略路由方式推荐场景 RANDOM(默认)把每个请求发送到一个随机选定的实例。通用型工作负载、非 LLM 模型,以及彼此可互换的请求。 LEAST_OUTSTANDING_REQUESTS把每个请求发送到在途请求最少的实例。处理时长波动、且希望所有实例负载均衡的工作负载。 PREFIX_AWARE把前缀相同(最多到 PrefixLength)的请求发送到同一实例;超过 ConcurrencyThreshold 时溢出到其他实例。请求开头固定位置有共享文本、且所用服务框架支持前缀缓存的 LLM 工作负载。 KV_AWARE(新)根据容器上报的缓存状态,把每个请求发送到持有匹配缓存前缀的实例,并在匹配长度与负载之间权衡;回退到负载感知路由。在受支持的容器上运行、有多轮对话、缓存频繁被淘汰,或请求只共享部分开头的 LLM 工作负载。
前缀感知还是 KV 感知
两种策略都会把请求发往其前缀可能已被缓存的位置。区别在于它们如何得知这个位置,以及对你的容器有什么要求。
前缀感知路由KV 感知路由 缓存位置来源从请求前缀推断容器上报的缓存状态 每请求增加延迟第 1 部分中为 1.3–1.9 毫秒短提示词几毫秒,长提示词更多,主要用于分词 匹配方式前 PrefixLength 个字节(Invoke API)或字符(OpenAI 兼容 API)按 token 匹配,取最长缓存匹配 参数PrefixLength、ConcurrencyThreshold无需任何参数 容器任何开启前缀缓存的容器受支持的容器,需开启前缀缓存与 KV 缓存事件(见「要求与限制」) 请求 payload任意OpenAI 兼容的 Completions 或 Chat Completions 格式
性能
我们通过两种方式衡量 KV 感知路由相对随机路由的效果:在生产规格实例上的大规模基准测试,以及在「验证 KV 感知路由是否生效」一节中你可以照做的、规模较小且可复现的对比。
基准测试结果
在我们的基准测试中,我们在七个 ml.p5.48xlarge 实例上运行 Llama 3.1 70B Instruct,执行了 30 分钟的测试,模拟 20 个或 100 个用户进行多轮聊天和文档问答,提示词最长约 64,000 token。与随机路由相比,在高负载、长提示词的场景下,KV 感知路由将 p50 首 token 时间(TTFT)最多降低 97%,吞吐最多提升 234%,KV 缓存命中率从 3–48% 提升到 80–93%。长提示词即使在较低负载下也有收益。短提示词收益最小,因为可节省的 prefill 本来就少。结果取决于你的工作负载。要针对自己的流量测量效果,请使用「验证 KV 感知路由是否生效」中的检查方法。
路由开销与回退
在路由请求之前,端点会对提示词分词,并在托管缓存索引中查询。短提示词的查询只需几毫秒,长提示词更久,耗时主要在分词;但相对于一次缓存命中节省的时间,这点开销仍然很小。对于使用标准选项的纯文本请求,它算出的 token 会直接传给模型,因此提示词不会被分词两次。
如果查询过慢、找不到可用的匹配,或所有匹配实例都忙,端点会用负载感知路由来处理该请求,行为与 LEAST_OUTSTANDING_REQUESTS 策略相同。请求仍会被处理,只是享受不到缓存带来的好处。端点无法对请求分词时也是如此,但「调用端点」一节所述的两个错误场景除外。发布时,SageMaker AI 控制台和指标都不会报告这些回退,因此请用「验证 KV 感知路由是否生效」中的检查来确认路由对你的流量确实有效。
提示词很短时,可节省的 prefill 较少,前缀感知路由可能就已足够。
何时使用 KV 感知路由
前缀感知路由无需改动容器,但它看不到实例实际持有什么。KV 感知路由直接询问容器持有什么,因而更精确。当有大量缓存上下文可复用、且这份缓存承压时,它的价值就体现出来:长提示词、高负载,以及实例的 GPU 内存不足以容纳 KV 缓存。这时容器会淘汰缓存中最久未使用的部分,其中也包括共享提示词和对话历史的部分。
例如,一个客服助手跑在三个实例上,每次对话都以同一段 6,000 token 的知识库摘录开头。对话 1 从实例 A 开始,A 缓存了这段摘录。流量上升后,A 的内存不足,容器淘汰了这段摘录的大部分。实例 B 最近用同一段摘录服务了另一次对话,仍持有其前 4,000 个 token。对话 1 的下一轮到达时,前缀感知路由再次把它发往 A,A 只得重新计算这段摘录。而在 KV 感知路由下,A 的容器已经上报了这次淘汰,索引显示 B 持有最长匹配,于是请求发往 B,B 只需重算剩余的 token。若在低负载下,A 不会淘汰任何内容,两种策略都会把请求发往缓存完好的 A。
当请求复用缓存上下文的方式无法用固定长度前缀捕捉时,KV 感知路由的帮助最大:
多轮对话:每一轮都会发送完整的对话历史,因此缓存的前缀随轮次增长。KV 感知路由匹配整段已缓存的历史,并把每次对话保持在持有它的实例上。这对长对话尤为关键。当托管缓存索引反映出某次淘汰后,路由器不会再把该对话继续发往已经丢弃其缓存的实例。
带共享上下文的高吞吐推理:RAG 应用会在前面拼接检索到的文档,助手则每次请求都发送很长的系统提示词。当这些提示词很长且实例面临内存压力时,KV 感知路由更合适。若共享前缀稳定、负载适中,前缀感知路由同样适用。请把共享内容放在最前面,并保持同样的顺序:如果相同文档以不同顺序出现,提示词就不再共享开头,也就无法匹配。
前缀长度难以调优的工作负载:使用前缀感知路由时,你要选一个 PrefixLength,既能覆盖共享文本,又不会把本应留在一起的请求打散。KV 感知路由无需调优前缀长度,因为它匹配的是实际被缓存的内容。
如果你请求开头共享的是稳定的系统提示词或文档、提示词较短,或负载适中,那么无需改动容器的前缀感知路由就是好选择。在这些情况下,实例有足够的 GPU 内存保留共享文本的缓存,两种策略都能找到它。如果所用的容器不受 KV 感知路由支持,也应选择前缀感知路由,因为它适用于任何已开启前缀缓存的容器。如果你的请求短且可互换,或者模型不是 LLM,可复用的缓存上下文很少,那就使用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS。
如果拿不准哪种更合适,可以先从前缀感知路由起步,再用自己的流量打一个 KV_AWARE 端点,按「验证 KV 感知路由是否生效」所述比较首 token 时间、吞吐和命中率。
要求与限制
启用 KV 感知路由之前,请确认你的容器、端点和请求满足以下要求:
容器:发布时,KV 感知路由支持面向 SageMaker AI 的 AWS vLLM Deep Learning Container:版本为 vLLM 0.33.0 或更新的镜像,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 或更新版本。前缀缓存必须开启(这是默认值),并且必须通过 SM_VLLM_KV_EVENTS_CONFIG 环境变量开启 KV 缓存事件,具体见「如何启用」。SageMaker AI 不会替你设置。
端点与实例:运行在 GPU 实例类型上的实时单模型端点和推理组件端点,包括动态低秩适配(LoRA)适配器。你也可以通过 AWS CloudFormation 配置 KV 感知路由。只有当单模型端点至少有两个实例、或推理组件至少有两个副本(可以位于同一实例)时,路由才会生效。更少时仍可设置 KV_AWARE,端点不会被拒绝,但所有请求都会发往唯一的实例或副本。
请求:OpenAI 兼容的 Completions 或 Chat Completions payload,通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI 的 OpenAI 兼容 Chat Completions API 发送。不支持 InvokeEndpointWithBidirectionalStream。如果设置了 model 字段,它必须与 SM_VLLM_MODEL 的值一致。
SDK 版本:用于跟踪 KV 缓存命中率的详细可观测性功能,需要 AWS Command Line Interface(AWS CLI)2.35.6 或更新版本,或 Boto3 1.43.31 或更新版本。
SageMaker AI 会在端点开始处理流量之前检查这些要求。如果某项检查不通过,请求或部署会失败,并给出说明缺少什么的消息。完整的设置列表、校验行为和配额,请参阅 SageMaker AI 文档。
如何启用
你要在两处开启 KV 感知路由:模型和端点配置。示例 notebook 端到端地跑完所有步骤,涵盖单模型端点和推理组件端点两种场景。
- 在模型中开启 KV 缓存事件 –创建模型时,把 SM_VLLM_KV_EVENTS_CONFIG 加入容器环境。缺少它,端点就没有可用于路由的缓存状态。该设置中的端口只在实例内部使用,因此不需要向你的网络开放。
"Environment": { "SM_VLLM_MODEL": "
- 在端点配置中选择 KV 感知路由 –在生产变体的 RoutingConfig 中把 RoutingStrategy 设为 KV_AWARE:
"RoutingConfig": { "RoutingStrategy": "KV_AWARE" }
如果你的容器镜像针对 CUDA 13 构建,还需要把生产变体中的 InferenceAmiVersion 设为支持它的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。否则容器可能无法启动。参见 Inference GPU drivers。
请确认你的账户对所选的实例类型和数量有足够的端点配额;如有需要,在 Service Quotas 中申请提升。
同样的 RoutingConfig 设置对推理组件端点(包括动态 LoRA 适配器)同样有效。对于适配器,KV 感知路由会在已经加载该适配器的实例之间做选择。
调用端点
调用端点的方式没有任何变化。用 InvokeEndpoint 发送 Chat Completions payload,或用 InvokeEndpointWithResponseStream 并在请求体中带上 "stream": true:
{"messages": [{"role": "user", "content": "What is your return policy?"}]}
你也可以通过 SageMaker AI 的 OpenAI 兼容 Chat Completions API,用 OpenAI Python 客户端调用该端点。GitHub 上的 Use the OpenAI-compatible API with SageMaker AI notebook 演示了具体做法,涵盖单模型端点和推理组件两种场景。
KV 感知路由不应用第 1 部分中的多租户前缀隔离:它会忽略前缀感知 ID 请求头和 prompt_cache_key 字段。若请求把顶层 cache_salt 字段设为非 null 值,会被以 400 错误拒绝。
KV 感知路由带来两个新的错误场景:如果请求的 model 字段指向容器并未提供的模型,请求会以 ModelError 失败;如果请求带有非 null 的 cache_salt,会被以 400 错误拒绝。推理本身的错误仍像以前一样返回,你可以借助模型容器自身在 Amazon CloudWatch 中的日志查找原因。端点不会向你账户投递关于其 KV 感知路由决策的日志,因此请使用「验证 KV 感知路由是否生效」中的检查,例如每个请求的 cached_tokens 和 KV 缓存命中率,来了解路由的实际表现。
验证 KV 感知路由是否生效
KV 感知路由本身不新增指标,因此你要在自己的模型上检查它的效果。有三种方式:
检查每个请求的缓存命中 –容器默认不上报提示词 token 明细,因此在模型环境中把 SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS 设为 true。此后每个响应都会包含 usage.prompt_tokens_details.cached_tokens,即由 KV 缓存提供的提示词 token 数。当你发送后续轮次、或另一个与先前请求开头相同的请求时,非零值说明该请求到达了持有其前缀的实例。
在 Amazon CloudWatch 中检查模型指标 –创建端点配置时,使用「要求与限制」中提到的 SDK 版本,并加上 --metrics-config '{"EnableDetailedObservability": true}' 来开启详细可观测性。之后 SageMaker AI 会发布模型容器的指标,包括 KV 缓存命中率和 TTFT。请按 Detailed observability with PromQL 所述查询这些指标。

图 2:验证 KV 感知路由。(a) 一次后续请求显示大部分提示词 token 由 KV 缓存提供。(b) SageMaker AI Insights 控制面板中同一端点的 KV 缓存命中率
与原本会使用的策略做对比 –对大多数 LLM 工作负载来说,真正的选择是在 KV_AWARE 与 PREFIX_AWARE 之间,因此对比这两者,并额外加一个 RANDOM 端点作为基线。各端点使用相同的模型、实例类型和实例数量,以相同的并发度发送相同的提示词、运行相同时长,确保唯一的差异是路由策略。请确保测试复用上下文的方式与生产流量一致,例如使用多轮对话或共享文档。如果 KV_AWARE 和 PREFIX_AWARE 在你的流量上表现相近,那么前缀感知路由是更简单的选择。
作为这种对比的一个例子,我们在一个小端点上比较了 RANDOM 和 KV_AWARE。我们把相同的多轮工作负载发送到两个仅在路由策略上不同的端点。每个端点有两个 ml.g5.xlarge 实例,在受支持的容器上运行 Qwen3-4B-Instruct-2507。每次运行发送 128 个请求:32 个模拟用户,每人针对一份文档提 4 个问题;文档从 12 份约 7,400 token 的文档中选取。每个问题都会重发此前的对话,因此第一个之后的每个问题都能复用缓存上下文。我们跑了两对运行:第 1 对先跑 RANDOM,第 2 对先跑 KV_AWARE;每对都使用新文档,好让两个端点都从空缓存开始。表 1 以「第 1 对 / 第 2 对」的形式给出结果。
指标RANDOMKV_AWARE CloudWatch ModelLatency 平均值(毫秒)4,124 / 5,1001,235 / 1,314 CloudWatch ModelLatency p50(毫秒)3,153 / 4,083656 / 700 CloudWatch ModelLatency p90(毫秒)8,334 / 10,7463,213 / 3,535 CloudWatch ModelLatency p99(毫秒)17,779 / 16,2496,876 / 7,238 首 token 时间 p50,第 2–4 个问题(毫秒)1,284 / 1,632237 / 245 首 token 时间 p90,第 2–4 个问题(毫秒)5,039 / 6,101456 / 367 首 token 时间 p90,所有请求(毫秒)5,003 / 5,6831,465 / 1,759 由缓存提供的提示词 token 占比0.761 / 0.7010.903 / 0.903 运行时长(秒)31.1 / 36.917.9 / 18.0 CloudWatch OverheadLatency 平均值(毫秒)13.1 / 8.127.1 / 27.5
表 1:相同工作负载下的 RANDOM 与 KV_AWARE 路由。每个单元格显示第 1 对 / 第 2 对。ModelLatency 和 OverheadLatency 是端点的 Amazon CloudWatch 指标。首 token 时间和运行时长由客户端测量。缓存占比为一次运行中 cached_tokens 之和除以 prompt_tokens 之和
两对运行中,KV_AWARE 的 CloudWatch ModelLatency 都更低(平均分别为 1,235 和 1,314 毫秒,对比 4,124 和 5,100 毫秒),第 2–4 个问题的首 token 时间也更低(p50 分别为 237 和 245 毫秒,对比 1,284 和 1,632 毫秒)。它的缓存占比更高,两对中均为 90%,而对照组为 76% 和 70%。OverheadLatency 是 SageMaker AI 在模型容器之外花费的时间,KV_AWARE 平均高出 14 到 19 毫秒。这只是单个模型、单一实例类型,以及一个使用长共享文档的工作负载,因此请按本节前面所述测量你自己的流量。图 3 展示了 SageMaker AI 控制台为这两个端点显示的模型延迟图表。

图 3:Amazon CloudWatch 中 RANDOM 端点(蓝色)与 KV_AWARE 端点(橙色)的一分钟平均模型延迟,二者共享 0–7 秒的坐标轴。每个端点连续接收了七次相同工作负载的运行,且每次都换用新文档,RANDOM 先行。RANDOM 的平均模型延迟为 4.9–6.2 秒,KV_AWARE 为 1.2–1.3 秒。RANDOM 的最后一个点较低,是因为那一分钟只包含该次运行最后 20 个请求
如果两者都不比 RANDOM 更好,请检查容器中是否已按「要求与限制」所述开启前缀缓存和 KV 缓存事件。
示例 notebook
示例 notebook 把本文的步骤应用在 Qwen/Qwen3-4B-Instruct-2507 上:两个 ml.g5.xlarge 实例(单模型端点的最低配置),以及带两个副本的推理组件端点。它用两种 API 调用端点,在容器日志中展示后续请求由 KV 缓存提供服务,但不比较路由策略。最后请运行其中的清理单元格,以免产生持续费用。
清理
为避免持续计费,请删除你创建的资源。对于推理组件端点,先删除推理组件(delete-inference-component),再删除端点、端点配置和模型(delete-endpoint、delete-endpoint-config、delete-model)。
实践建议
以下三条做法有助于你在开启后让 KV 感知路由持续有效。
监控 KV 缓存命中率 –发布后保持详细可观测性开启,在 SageMaker AI Insights 控制面板(图 2b)中长期观察 KV 缓存命中率,或按「验证 KV 感知路由是否生效」所述用 PromQL 查询。
为冷启动做好准备 –带有新上下文的第一个请求(例如新文档或对话的第一轮)在任何实例上都没有缓存。KV 感知路由加速的是后续请求,而不是第一个。
为扩缩容和更新期间的缓存重建做好准备 –如「KV 感知路由的工作方式」所述,新实例从空缓存开始。为缓解延迟上升,单模型端点请使用滚动更新或蓝绿更新,推理组件则使用 RollingUpdatePolicy。
结语
KV 感知路由为 SageMaker AI 实时端点提供了第二种方式,把请求送到其提示词已被缓存的位置。它利用模型容器上报的缓存状态,因此当实例在内存压力下淘汰缓存时,它能跟随缓存的变化。对于稳定的共享提示词、短上下文和中等负载,本系列第 1 部分的前缀感知路由仍然是更简单的选择。两种策略的路由都由 SageMaker AI 在端点内部处理,你无需自行构建或运行路由层。开启方式是:在模型中加一个环境变量,并在端点配置中设置 "RoutingStrategy": "KV_AWARE"。
KV 感知路由现已面向所有支持 SageMaker AI 实时推理的商业 AWS 区域提供,适用于使用受支持容器的端点,且不额外收费。SageMaker AI 会运行并托管缓存索引,你只需为端点使用的实例付费。KV_AWARE 是现有 RoutingStrategy 字段的新取值,因此不需要新的配置对象,旧版本的 AWS CLI 和 Boto3 也能接受它。要开始使用,请阅读文档,在小端点上运行示例 notebook,然后在你自己的流量副本上比较 KV_AWARE 与 PREFIX_AWARE。
关于作者