在线AI教程 / AI部署

[Amazon Bedrock] Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由

· 转自:aws.amazon.com

人工智能 Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由 今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV aware

转载本文转自「aws.amazon.com」,版权归原作者所有,内容已摘录正文、去除外部链接。

人工智能

Amazon SageMaker AI 实时终端节点现在支持 KV 缓存感知路由

今天,Amazon SageMaker AI 推出 KV 缓存感知路由(KV-aware routing),这是面向实时端点的一种新路由策略。它利用模型容器上报的缓存状态,把每个请求发送到已经为其提示词持有较长缓存匹配、且负载不过高的实例上。它面向那些用大型语言模型(LLM)承载多轮对话、长共享提示词或高负载的团队。你需要在两处开启它:给模型加一个环境变量,让容器上报其缓存内容;在端点配置中把 RoutingStrategy 设为 KV_AWARE。客户端仍像以前一样调用端点,API 不变。

它要解决的问题是这样的:聊天助手、检索增强生成(RAG)、以及带长系统提示词的 agent 等 LLM 应用,会发出大量以相同文本开头的请求。模型会把针对某段提示词所做的计算保留在 GPU 内存里,也就是 KV 缓存;当相同的开头再次到达同一实例时,就跳过这部分计算。在本系列第 1 部分中,我们为 Amazon SageMaker AI 推出了前缀感知路由,它把开头相同的请求发送到同一实例。前缀感知路由仅凭请求本身推断前缀缓存在哪里,因此无法判断某个实例是否已经淘汰了该缓存。

前缀感知路由只根据请求本身挑选实例。它对请求开头做哈希,哈希范围到你所配置的 PrefixLength 为止(对 InvokeEndpoint 是 payload 的字节数,对 OpenAI 兼容的 Chat Completions API 则是消息文本的字符数),并把开头相同的请求发到同一实例。它从不知道实例实际缓存了什么。当每个请求都以相同的共享文本开头时,这种方式效果很好;但有两种情况效果会变差:

实例上的缓存会随时间变化。当 GPU 内存占满时,实例会淘汰较旧的 KV 缓存条目,但路由器仍源源不断地把匹配的请求发过去,仿佛缓存还是热的。

对话一开始很短。在多轮聊天中,每一轮都会往历史里追加内容。只要请求长度还短于 PrefixLength,每一新轮都会改变路由器做哈希的文本,于是下一轮可能落到与缓存了前几轮的实例不同的实例上。只有当请求长度超过 PrefixLength 之后,一次对话的各个轮次才会留在同一个实例上。

本文将介绍 KV 感知路由的工作方式、适用时机,以及如何在单模型端点和推理组件端点上启用、调用并验证它。

KV 感知路由的工作方式

KV 感知路由由三部分组成:模型容器上报自己缓存了什么;SageMaker AI 为端点维护这份状态的托管缓存索引;端点再借助该索引为每个请求选择实例。

当你通过 SM_VLLM_KV_EVENTS_CONFIG 打开事件后,容器每次存入或淘汰缓存条目都会发布一个 KV 缓存事件,SageMaker AI 用这些事件让索引保持最新。索引里只存指针:缓存内容的单向、截断哈希,每个哈希映射到持有它的实例或推理组件副本。它从不存储提示词、token ID、请求 payload 或 KV 张量。请求到达时,端点对提示词做分词(tokenize),再用这些 token 在索引中查询。索引返回的是:哪些实例或推理组件副本的缓存中存有该提示词的一部分,各自存了多少。例如,如果实例 A 缓存了某次对话的开头,那么该对话的下一轮就会发往 A。由于索引按 token 而不是固定字节数进行匹配,多轮历史在增长过程中仍能整体匹配。即使请求只共享提示词的一部分,它仍会被发往匹配最长的实例。

随后,端点在这些候选之间做选择:衡量每个候选缓存了该提示词的多少,以及它有多忙。太忙的候选会被跳过,因此如果匹配最长的实例正忙,请求就交给下一个可用的次优实例。如果没有任何候选有可用的匹配,或者所有候选都忙,请求会回退到负载感知路由,详见「路由开销与回退」一节。你不需要像前缀感知路由那样为此配置并发阈值。索引还会跟随实例池的变化:缩容时,被移除实例的条目会被丢弃;扩容或更新替换实例时,新实例的缓存是空的,因此短时间内延迟可能偏高。

图 1:SageMaker AI 端点上的 KV 感知路由。路由器查询托管缓存索引,把请求转发到持有最长缓存匹配的实例。每个实例都把 KV 缓存事件上报回索引

图 1 中,该端点有三个实例 A、B、C。每个实例都在自己的模型容器(即「要求与限制」一节列出的 AWS vLLM Deep Learning Container)中运行同一个模型,并在 GPU 内存里各有自己的 KV 缓存,因此每个实例持有的缓存内容各不相同:A 持有对话 1 的第 1 至第 3 轮,B 持有对话 2 和对话 3,C 持有文档 7。当对话 1 的第 4 轮到达时(步骤 1),路由器对它分词,并在托管缓存索引中查询(步骤 2)。索引显示 A 持有该请求 6,200 个 token 中的前 6,000 个,于是路由器把请求发给 A(步骤 3),A 只需计算剩余的 token。如果 A 忙,路由器则把请求发给最不忙的实例(步骤 4)。KV 感知路由需要多个候选目的地,因此只有在至少两个实例、或推理组件至少有两个副本时才会生效。只有一个实例时,所有请求都会发往该实例,这项设置不会产生任何效果。

SageMaker AI 上的路由策略

随着本次发布,SageMaker AI 为实时端点提供了四种路由策略。你可以在端点配置的 RoutingConfig 中,按生产变体(production variant)分别设置策略。

策略路由方式推荐场景 RANDOM(默认)把每个请求发送到一个随机选定的实例。通用型工作负载、非 LLM 模型,以及彼此可互换的请求。 LEAST_OUTSTANDING_REQUESTS把每个请求发送到在途请求最少的实例。处理时长波动、且希望所有实例负载均衡的工作负载。 PREFIX_AWARE把前缀相同(最多到 PrefixLength)的请求发送到同一实例;超过 ConcurrencyThreshold 时溢出到其他实例。请求开头固定位置有共享文本、且所用服务框架支持前缀缓存的 LLM 工作负载。 KV_AWARE(新)根据容器上报的缓存状态,把每个请求发送到持有匹配缓存前缀的实例,并在匹配长度与负载之间权衡;回退到负载感知路由。在受支持的容器上运行、有多轮对话、缓存频繁被淘汰,或请求只共享部分开头的 LLM 工作负载。

前缀感知还是 KV 感知

两种策略都会把请求发往其前缀可能已被缓存的位置。区别在于它们如何得知这个位置,以及对你的容器有什么要求。

前缀感知路由KV 感知路由 缓存位置来源从请求前缀推断容器上报的缓存状态 每请求增加延迟第 1 部分中为 1.3–1.9 毫秒短提示词几毫秒,长提示词更多,主要用于分词 匹配方式前 PrefixLength 个字节(Invoke API)或字符(OpenAI 兼容 API)按 token 匹配,取最长缓存匹配 参数PrefixLength、ConcurrencyThreshold无需任何参数 容器任何开启前缀缓存的容器受支持的容器,需开启前缀缓存与 KV 缓存事件(见「要求与限制」) 请求 payload任意OpenAI 兼容的 Completions 或 Chat Completions 格式

性能

我们通过两种方式衡量 KV 感知路由相对随机路由的效果:在生产规格实例上的大规模基准测试,以及在「验证 KV 感知路由是否生效」一节中你可以照做的、规模较小且可复现的对比。

基准测试结果

在我们的基准测试中,我们在七个 ml.p5.48xlarge 实例上运行 Llama 3.1 70B Instruct,执行了 30 分钟的测试,模拟 20 个或 100 个用户进行多轮聊天和文档问答,提示词最长约 64,000 token。与随机路由相比,在高负载、长提示词的场景下,KV 感知路由将 p50 首 token 时间(TTFT)最多降低 97%,吞吐最多提升 234%,KV 缓存命中率从 3–48% 提升到 80–93%。长提示词即使在较低负载下也有收益。短提示词收益最小,因为可节省的 prefill 本来就少。结果取决于你的工作负载。要针对自己的流量测量效果,请使用「验证 KV 感知路由是否生效」中的检查方法。

路由开销与回退

在路由请求之前,端点会对提示词分词,并在托管缓存索引中查询。短提示词的查询只需几毫秒,长提示词更久,耗时主要在分词;但相对于一次缓存命中节省的时间,这点开销仍然很小。对于使用标准选项的纯文本请求,它算出的 token 会直接传给模型,因此提示词不会被分词两次。

如果查询过慢、找不到可用的匹配,或所有匹配实例都忙,端点会用负载感知路由来处理该请求,行为与 LEAST_OUTSTANDING_REQUESTS 策略相同。请求仍会被处理,只是享受不到缓存带来的好处。端点无法对请求分词时也是如此,但「调用端点」一节所述的两个错误场景除外。发布时,SageMaker AI 控制台和指标都不会报告这些回退,因此请用「验证 KV 感知路由是否生效」中的检查来确认路由对你的流量确实有效。

提示词很短时,可节省的 prefill 较少,前缀感知路由可能就已足够。

何时使用 KV 感知路由

前缀感知路由无需改动容器,但它看不到实例实际持有什么。KV 感知路由直接询问容器持有什么,因而更精确。当有大量缓存上下文可复用、且这份缓存承压时,它的价值就体现出来:长提示词、高负载,以及实例的 GPU 内存不足以容纳 KV 缓存。这时容器会淘汰缓存中最久未使用的部分,其中也包括共享提示词和对话历史的部分。

例如,一个客服助手跑在三个实例上,每次对话都以同一段 6,000 token 的知识库摘录开头。对话 1 从实例 A 开始,A 缓存了这段摘录。流量上升后,A 的内存不足,容器淘汰了这段摘录的大部分。实例 B 最近用同一段摘录服务了另一次对话,仍持有其前 4,000 个 token。对话 1 的下一轮到达时,前缀感知路由再次把它发往 A,A 只得重新计算这段摘录。而在 KV 感知路由下,A 的容器已经上报了这次淘汰,索引显示 B 持有最长匹配,于是请求发往 B,B 只需重算剩余的 token。若在低负载下,A 不会淘汰任何内容,两种策略都会把请求发往缓存完好的 A。

当请求复用缓存上下文的方式无法用固定长度前缀捕捉时,KV 感知路由的帮助最大:

多轮对话:每一轮都会发送完整的对话历史,因此缓存的前缀随轮次增长。KV 感知路由匹配整段已缓存的历史,并把每次对话保持在持有它的实例上。这对长对话尤为关键。当托管缓存索引反映出某次淘汰后,路由器不会再把该对话继续发往已经丢弃其缓存的实例。

带共享上下文的高吞吐推理:RAG 应用会在前面拼接检索到的文档,助手则每次请求都发送很长的系统提示词。当这些提示词很长且实例面临内存压力时,KV 感知路由更合适。若共享前缀稳定、负载适中,前缀感知路由同样适用。请把共享内容放在最前面,并保持同样的顺序:如果相同文档以不同顺序出现,提示词就不再共享开头,也就无法匹配。

前缀长度难以调优的工作负载:使用前缀感知路由时,你要选一个 PrefixLength,既能覆盖共享文本,又不会把本应留在一起的请求打散。KV 感知路由无需调优前缀长度,因为它匹配的是实际被缓存的内容。

如果你请求开头共享的是稳定的系统提示词或文档、提示词较短,或负载适中,那么无需改动容器的前缀感知路由就是好选择。在这些情况下,实例有足够的 GPU 内存保留共享文本的缓存,两种策略都能找到它。如果所用的容器不受 KV 感知路由支持,也应选择前缀感知路由,因为它适用于任何已开启前缀缓存的容器。如果你的请求短且可互换,或者模型不是 LLM,可复用的缓存上下文很少,那就使用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS。

如果拿不准哪种更合适,可以先从前缀感知路由起步,再用自己的流量打一个 KV_AWARE 端点,按「验证 KV 感知路由是否生效」所述比较首 token 时间、吞吐和命中率。

要求与限制

启用 KV 感知路由之前,请确认你的容器、端点和请求满足以下要求:

容器:发布时,KV 感知路由支持面向 SageMaker AI 的 AWS vLLM Deep Learning Container:版本为 vLLM 0.33.0 或更新的镜像,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 或更新版本。前缀缓存必须开启(这是默认值),并且必须通过 SM_VLLM_KV_EVENTS_CONFIG 环境变量开启 KV 缓存事件,具体见「如何启用」。SageMaker AI 不会替你设置。

端点与实例:运行在 GPU 实例类型上的实时单模型端点和推理组件端点,包括动态低秩适配(LoRA)适配器。你也可以通过 AWS CloudFormation 配置 KV 感知路由。只有当单模型端点至少有两个实例、或推理组件至少有两个副本(可以位于同一实例)时,路由才会生效。更少时仍可设置 KV_AWARE,端点不会被拒绝,但所有请求都会发往唯一的实例或副本。

请求:OpenAI 兼容的 Completions 或 Chat Completions payload,通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI 的 OpenAI 兼容 Chat Completions API 发送。不支持 InvokeEndpointWithBidirectionalStream。如果设置了 model 字段,它必须与 SM_VLLM_MODEL 的值一致。

SDK 版本:用于跟踪 KV 缓存命中率的详细可观测性功能,需要 AWS Command Line Interface(AWS CLI)2.35.6 或更新版本,或 Boto3 1.43.31 或更新版本。

SageMaker AI 会在端点开始处理流量之前检查这些要求。如果某项检查不通过,请求或部署会失败,并给出说明缺少什么的消息。完整的设置列表、校验行为和配额,请参阅 SageMaker AI 文档。

如何启用

你要在两处开启 KV 感知路由:模型和端点配置。示例 notebook 端到端地跑完所有步骤,涵盖单模型端点和推理组件端点两种场景。

  1. 在模型中开启 KV 缓存事件 –创建模型时,把 SM_VLLM_KV_EVENTS_CONFIG 加入容器环境。缺少它,端点就没有可用于路由的缓存状态。该设置中的端口只在实例内部使用,因此不需要向你的网络开放。

"Environment": { "SM_VLLM_MODEL": "", "SM_VLLM_KV_EVENTS_CONFIG": "{\"enable_kv_cache_events\": true, \"publisher\": \"zmq\", \"endpoint\": \"tcp://:5557\", \"topic\": \"kv-events\", \"replay_endpoint\": \"tcp://:5658\"}" }

  1. 在端点配置中选择 KV 感知路由 –在生产变体的 RoutingConfig 中把 RoutingStrategy 设为 KV_AWARE:

"RoutingConfig": { "RoutingStrategy": "KV_AWARE" }

如果你的容器镜像针对 CUDA 13 构建,还需要把生产变体中的 InferenceAmiVersion 设为支持它的 AMI,例如 al2023-ami-sagemaker-inference-gpu-4-1。否则容器可能无法启动。参见 Inference GPU drivers。

请确认你的账户对所选的实例类型和数量有足够的端点配额;如有需要,在 Service Quotas 中申请提升。

同样的 RoutingConfig 设置对推理组件端点(包括动态 LoRA 适配器)同样有效。对于适配器,KV 感知路由会在已经加载该适配器的实例之间做选择。

调用端点

调用端点的方式没有任何变化。用 InvokeEndpoint 发送 Chat Completions payload,或用 InvokeEndpointWithResponseStream 并在请求体中带上 "stream": true:

{"messages": [{"role": "user", "content": "What is your return policy?"}]}

你也可以通过 SageMaker AI 的 OpenAI 兼容 Chat Completions API,用 OpenAI Python 客户端调用该端点。GitHub 上的 Use the OpenAI-compatible API with SageMaker AI notebook 演示了具体做法,涵盖单模型端点和推理组件两种场景。

KV 感知路由不应用第 1 部分中的多租户前缀隔离:它会忽略前缀感知 ID 请求头和 prompt_cache_key 字段。若请求把顶层 cache_salt 字段设为非 null 值,会被以 400 错误拒绝。

KV 感知路由带来两个新的错误场景:如果请求的 model 字段指向容器并未提供的模型,请求会以 ModelError 失败;如果请求带有非 null 的 cache_salt,会被以 400 错误拒绝。推理本身的错误仍像以前一样返回,你可以借助模型容器自身在 Amazon CloudWatch 中的日志查找原因。端点不会向你账户投递关于其 KV 感知路由决策的日志,因此请使用「验证 KV 感知路由是否生效」中的检查,例如每个请求的 cached_tokens 和 KV 缓存命中率,来了解路由的实际表现。

验证 KV 感知路由是否生效

KV 感知路由本身不新增指标,因此你要在自己的模型上检查它的效果。有三种方式:

检查每个请求的缓存命中 –容器默认不上报提示词 token 明细,因此在模型环境中把 SM_VLLM_ENABLE_PROMPT_TOKENS_DETAILS 设为 true。此后每个响应都会包含 usage.prompt_tokens_details.cached_tokens,即由 KV 缓存提供的提示词 token 数。当你发送后续轮次、或另一个与先前请求开头相同的请求时,非零值说明该请求到达了持有其前缀的实例。

在 Amazon CloudWatch 中检查模型指标 –创建端点配置时,使用「要求与限制」中提到的 SDK 版本,并加上 --metrics-config '{"EnableDetailedObservability": true}' 来开启详细可观测性。之后 SageMaker AI 会发布模型容器的指标,包括 KV 缓存命中率和 TTFT。请按 Detailed observability with PromQL 所述查询这些指标。

图 2:验证 KV 感知路由。(a) 一次后续请求显示大部分提示词 token 由 KV 缓存提供。(b) SageMaker AI Insights 控制面板中同一端点的 KV 缓存命中率

与原本会使用的策略做对比 –对大多数 LLM 工作负载来说,真正的选择是在 KV_AWARE 与 PREFIX_AWARE 之间,因此对比这两者,并额外加一个 RANDOM 端点作为基线。各端点使用相同的模型、实例类型和实例数量,以相同的并发度发送相同的提示词、运行相同时长,确保唯一的差异是路由策略。请确保测试复用上下文的方式与生产流量一致,例如使用多轮对话或共享文档。如果 KV_AWARE 和 PREFIX_AWARE 在你的流量上表现相近,那么前缀感知路由是更简单的选择。

作为这种对比的一个例子,我们在一个小端点上比较了 RANDOM 和 KV_AWARE。我们把相同的多轮工作负载发送到两个仅在路由策略上不同的端点。每个端点有两个 ml.g5.xlarge 实例,在受支持的容器上运行 Qwen3-4B-Instruct-2507。每次运行发送 128 个请求:32 个模拟用户,每人针对一份文档提 4 个问题;文档从 12 份约 7,400 token 的文档中选取。每个问题都会重发此前的对话,因此第一个之后的每个问题都能复用缓存上下文。我们跑了两对运行:第 1 对先跑 RANDOM,第 2 对先跑 KV_AWARE;每对都使用新文档,好让两个端点都从空缓存开始。表 1 以「第 1 对 / 第 2 对」的形式给出结果。

指标RANDOMKV_AWARE CloudWatch ModelLatency 平均值(毫秒)4,124 / 5,1001,235 / 1,314 CloudWatch ModelLatency p50(毫秒)3,153 / 4,083656 / 700 CloudWatch ModelLatency p90(毫秒)8,334 / 10,7463,213 / 3,535 CloudWatch ModelLatency p99(毫秒)17,779 / 16,2496,876 / 7,238 首 token 时间 p50,第 2–4 个问题(毫秒)1,284 / 1,632237 / 245 首 token 时间 p90,第 2–4 个问题(毫秒)5,039 / 6,101456 / 367 首 token 时间 p90,所有请求(毫秒)5,003 / 5,6831,465 / 1,759 由缓存提供的提示词 token 占比0.761 / 0.7010.903 / 0.903 运行时长(秒)31.1 / 36.917.9 / 18.0 CloudWatch OverheadLatency 平均值(毫秒)13.1 / 8.127.1 / 27.5

表 1:相同工作负载下的 RANDOM 与 KV_AWARE 路由。每个单元格显示第 1 对 / 第 2 对。ModelLatency 和 OverheadLatency 是端点的 Amazon CloudWatch 指标。首 token 时间和运行时长由客户端测量。缓存占比为一次运行中 cached_tokens 之和除以 prompt_tokens 之和

两对运行中,KV_AWARE 的 CloudWatch ModelLatency 都更低(平均分别为 1,235 和 1,314 毫秒,对比 4,124 和 5,100 毫秒),第 2–4 个问题的首 token 时间也更低(p50 分别为 237 和 245 毫秒,对比 1,284 和 1,632 毫秒)。它的缓存占比更高,两对中均为 90%,而对照组为 76% 和 70%。OverheadLatency 是 SageMaker AI 在模型容器之外花费的时间,KV_AWARE 平均高出 14 到 19 毫秒。这只是单个模型、单一实例类型,以及一个使用长共享文档的工作负载,因此请按本节前面所述测量你自己的流量。图 3 展示了 SageMaker AI 控制台为这两个端点显示的模型延迟图表。

图 3:Amazon CloudWatch 中 RANDOM 端点(蓝色)与 KV_AWARE 端点(橙色)的一分钟平均模型延迟,二者共享 0–7 秒的坐标轴。每个端点连续接收了七次相同工作负载的运行,且每次都换用新文档,RANDOM 先行。RANDOM 的平均模型延迟为 4.9–6.2 秒,KV_AWARE 为 1.2–1.3 秒。RANDOM 的最后一个点较低,是因为那一分钟只包含该次运行最后 20 个请求

如果两者都不比 RANDOM 更好,请检查容器中是否已按「要求与限制」所述开启前缀缓存和 KV 缓存事件。

示例 notebook

示例 notebook 把本文的步骤应用在 Qwen/Qwen3-4B-Instruct-2507 上:两个 ml.g5.xlarge 实例(单模型端点的最低配置),以及带两个副本的推理组件端点。它用两种 API 调用端点,在容器日志中展示后续请求由 KV 缓存提供服务,但不比较路由策略。最后请运行其中的清理单元格,以免产生持续费用。

清理

为避免持续计费,请删除你创建的资源。对于推理组件端点,先删除推理组件(delete-inference-component),再删除端点、端点配置和模型(delete-endpoint、delete-endpoint-config、delete-model)。

实践建议

以下三条做法有助于你在开启后让 KV 感知路由持续有效。

监控 KV 缓存命中率 –发布后保持详细可观测性开启,在 SageMaker AI Insights 控制面板(图 2b)中长期观察 KV 缓存命中率,或按「验证 KV 感知路由是否生效」所述用 PromQL 查询。

为冷启动做好准备 –带有新上下文的第一个请求(例如新文档或对话的第一轮)在任何实例上都没有缓存。KV 感知路由加速的是后续请求,而不是第一个。

为扩缩容和更新期间的缓存重建做好准备 –如「KV 感知路由的工作方式」所述,新实例从空缓存开始。为缓解延迟上升,单模型端点请使用滚动更新或蓝绿更新,推理组件则使用 RollingUpdatePolicy。

结语

KV 感知路由为 SageMaker AI 实时端点提供了第二种方式,把请求送到其提示词已被缓存的位置。它利用模型容器上报的缓存状态,因此当实例在内存压力下淘汰缓存时,它能跟随缓存的变化。对于稳定的共享提示词、短上下文和中等负载,本系列第 1 部分的前缀感知路由仍然是更简单的选择。两种策略的路由都由 SageMaker AI 在端点内部处理,你无需自行构建或运行路由层。开启方式是:在模型中加一个环境变量,并在端点配置中设置 "RoutingStrategy": "KV_AWARE"。

KV 感知路由现已面向所有支持 SageMaker AI 实时推理的商业 AWS 区域提供,适用于使用受支持容器的端点,且不额外收费。SageMaker AI 会运行并托管缓存索引,你只需为端点使用的实例付费。KV_AWARE 是现有 RoutingStrategy 字段的新取值,因此不需要新的配置对象,旧版本的 AWS CLI 和 Boto3 也能接受它。要开始使用,请阅读文档,在小端点上运行示例 notebook,然后在你自己的流量副本上比较 KV_AWARE 与 PREFIX_AWARE。

关于作者