在线AI教程 / AI部署
[Amazon Bedrock] 在 Amazon SageMaker HyperPod Inference 上管理 NVIDIA Dynamo
Artificial Intelligence 在 Amazon SageMaker HyperPod Inference 上管理 NVIDIA Dynamo 高效地服务大型语言模
Artificial Intelligence
在 Amazon SageMaker HyperPod Inference 上管理 NVIDIA Dynamo
高效地服务大型语言模型(LLM)需要充足的 GPU 内存,并仔细协调 prompt 处理与 token 生成。例如,GLM-5.3 的 FP8 权重就已经超过单台 ml.p5.48xlarge 实例的 640 GB GPU 内存,这还没有计入 KV cache 与运行时开销。当长 prompt 与 token 生成共用同一批 GPU 时,长 prompt 也会拖慢 token 生成。
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,把 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理结合起来,以应对这些挑战。Dynamo 是一个开源分布式推理框架,支持多节点部署、分离式 prefill 与 decode,以及面向 vLLM、SGLang、TensorRT-LLM 等引擎的 KV-aware 路由。HyperPod 通过高性能 Elastic Fabric Adapter(EFA)网络、协调的 GPU 调度,以及节点健康监控与恢复来支撑这些部署。在本文中,我们通过一个部署示例说明多节点与分离式服务,分享 benchmark 结果,并概述在 HyperPod 上优化推理的最佳实践。
集成如何工作
HyperPod Inference add-on 会安装 Dynamo 自定义资源定义,以及下列服务与调度组件:
HyperPod Inference Operator 通过 InferenceEndpointConfig(IEC)自定义资源管理 endpoint 部署。其 dynamoSpec 部分提供 Dynamo 配置。 Dynamo operator 管理 DynamoGraphDeployment(DGD) 中定义的资源,包括 frontend、model worker、副本数以及资源需求。 Grove 协调相互关联的 pod 组,包括多节点 worker,以及它们之间的扩缩关系。 Kubernetes AI(KAI)Scheduler 把 pod 放置到 GPU 资源上,并用 gang 调度把多节点 worker 所需的 pod 一起调度。
AWS Deep Learning Containers(DLC)提供 Dynamo 运行时,而该 add-on 负责管理集成组件的版本。要采用受支持的 Dynamo 版本,请更新该 add-on。
部署架构
下图展示了 SageMaker HyperPod 上分离式推理的部署路径、服务组件与基础设施管理。Dynamo frontend 把请求路由到 prefill worker(处理 prompt)与 decode worker(生成 token)。这两个独立的池可以分别扩缩与调优。两个池都加载完整的模型权重,KV cache 在两者之间通过 EFA 传输。
Dynamo 也支持聚合式服务(aggregated serving),即 prefill 与 decode 在同一个 worker 中运行。无论哪种拓扑,worker 都可以运行在一台实例上,也可以借助张量并行与流水线并行跨多台实例运行。Dynamo 的 KV-aware 路由器 在两种拓扑下都会考虑可复用的前缀 KV cache 与 worker 的活跃负载。前缀复用可以减少 prompt 的重复计算并改善首 token 时延,而负载感知有助于避免 worker 过载。有关 Dynamo 架构的更多细节,请参阅 Dynamo Knowledge Base 概览。
HyperPod 提供节点、GPU 与 EFA 健康监控,并管理节点替换,编排组件则重建受影响的 worker。通过带 dynamoSpec 的 InferenceEndpointConfig 配置的部署,支持通过 SageMaker endpoint 调用。

图 1:Amazon SageMaker HyperPod Inference 上 NVIDIA Dynamo 的部署路径、服务组件与基础设施管理
配置部署的两种方式
无论你是刚接触 HyperPod、刚接触 Dynamo,还是两者都刚接触,add-on 都提供两条部署路径来适配你的工作流:
自带 DynamoGraphDeployment(DGD) 让现有 Dynamo 用户继续使用上游文档、recipe 和 manifest,由 Dynamo operator 管理部署。要把已有的 DGD 带到 HyperPod,请使用受支持的容器镜像,并为你的集群配置存储、网络与 pod 放置。
带 dynamoSpec 的 InferenceEndpointConfig 让现有 HyperPod Inference 用户沿用他们已经熟悉的配置格式与 OpenAI 兼容接口,部署新的 Dynamo endpoint。推理引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。operator 还会为 KV-aware 路由与副本数提供默认值。
两条路径都支持单实例与多节点部署。无论哪种方式,HyperPod 都管理节点健康与替换。下表汇总了每条路径的职责。
自带 DGD带 dynamoSpec 的 InferenceEndpointConfig 你需要编写完整的 DGD manifest包含 dynamoSpec 的 IEC 最适合希望直接控制服务图(serving graph)或复用现有 DGD 的团队希望通过 IEC 获得托管 endpoint 配置的团队 模型权重你需要配置权重的下载或挂载operator 从 Amazon Simple Storage Service(Amazon S3)或 Amazon FSx 预置权重 Endpoint、TLS、注册你需要配置和管理这些资源由 HyperPod Inference Operator 托管 自动扩缩你需要配置和管理扩缩通过 autoScalingSpec 使用 Kubernetes Event-driven Autoscaling(KEDA),适用于聚合式与分离式部署
部署示例:GLM-5.3
以下片段使用 InferenceEndpointConfig(IEC)部署路径,在 ml.p5.48xlarge 实例上运行 vLLM。Dynamo 相关设置位于 spec.dynamoSpec 下。模型来源与 endpoint 设置包含在完整 manifest 中。
多节点聚合式服务
该配置在两个实例(16 块 GPU)上运行一个 model-worker 副本,并用两个 frontend 副本处理请求。把 dynamoSpec.frontend.routingMode 设为 kv-aware 即可开启 KV-aware 路由。
spec: replicas: 1 dynamoSpec: modelServer: vllm frontend: replicas: 2 routingMode: kv-aware aggregation: nodesPerReplica: 2 tensorParallelism: 16
这里,spec.replicas 控制 model-worker 副本数,而 frontend.replicas 控制 frontend 副本数。
多节点分离式服务
把 spec.dynamoSpec 下的 aggregation 替换为下面的 disaggregation 块,并保留前面的 frontend 配置。prefill 与 decode 的副本数分别设置。此示例运行一个 prefill 副本和两个 decode 副本,每个副本跨两台实例,共六台实例。
disaggregation: prefill: nodesPerReplica: 2 tensorParallelism: 16 replicas: 1 decode: nodesPerReplica: 2 tensorParallelism: 16 replicas: 2
应用部署
用 kubectl apply 应用完整的 manifest。HyperPod Inference Operator 会让配置好的模型权重对 worker 可用,并生成 DGD。Grove 与 KAI Scheduler 协调放置,使每个多节点 worker 所需的 pod 被一起调度。
等 SageMaker endpoint 就绪并配置好 chat completions 之后,客户端就可以通过 SageMaker Runtime API 发送 OpenAI 兼容的请求载荷:
aws sagemaker-runtime invoke-endpoint \ --endpoint-name glm53 \ --content-type application/json \ --body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \ --cli-binary-format raw-in-base64-out \ out.json
Benchmark
我们在 SageMaker HyperPod 上针对两个模型对 Dynamo 做了 benchmark,以比较不同的服务配置。
Qwen3-235B 的分离式 prefill 与 decode
我们使用 AIPerf 比较 Qwen3-235B-A22B-FP8 的聚合式与分离式服务:Dynamo 搭配 TensorRT-LLM,运行在两台 p5en.48xlarge 实例(16 块 H200 GPU)上。请求包含 4,000 个输入 token 与 200 个输出 token。我们保留满足两个目标的实测点:P90 首 token 时延低于一秒,且每用户生成速度的中位数至少为每秒 50 个 token。在这些点中,分离式服务达到最高聚合吞吐的 2.05 倍:每 GPU 每秒 207 对 101 个输出 token,对应的并发分别为 80 与 32。

图 2:Qwen3-235B-A22B-FP8 的聚合式与分离式服务吞吐对比
Qwen3.5-397B 的多节点聚合式服务
对于超出单台实例 GPU 内存的模型,Dynamo 在聚合与分离两种模式下都支持多节点服务。为了评估跨节点的 worker,我们使用 AIPerf 对 Qwen3.5-397B-A17B-FP8 做多节点聚合式服务的 benchmark:Dynamo 搭配 vLLM,采用 TP4 × PP2,使用八块活跃的 H200 GPU。这个模型能装进一台实例,所以实践中不会去拆分它,它在这里只作为受控基线。我们用相同的模型、并行度与工作负载配置,比较了一台 p5en.48xlarge 上的八块 GPU 与两台实例上各四块 GPU。在并发 32、前缀复用率很高的 agentic 工作负载下,双节点配置达到每 GPU 每秒 126.4 个输出 token,保留了单节点吞吐的 99.1%。这说明 SageMaker HyperPod 上的 Dynamo 可以服务需要跨多台实例的模型,节点边界本身并不会成为明显的吞吐损失。

图 3:Qwen3.5-397B-A17B-FP8 多节点聚合式服务的单节点与双节点吞吐对比
优化推理的最佳实践
NVIDIA Dynamo 提供 recipe 与工具,帮助你在 SageMaker HyperPod 上选择服务配置、做性能 benchmark 并调优部署。
从匹配的 recipe 开始 – 针对你的模型、推理引擎与 GPU 类型选择一份 Dynamo recipe。为 worker 定容时要计入模型权重、KV cache 与运行时内存。对于受支持的配置,AISimulate 可以在上 GPU 实测之前,帮助你比较聚合式与分离式服务、选择并行度,并为 prefill 与 decode worker 池定容。 benchmark 之前先验证通信 – 对于跨实例的部署,确认通信走的是预期的 EFA 传输路径,包括 prefill 与 decode worker 之间的 KV-cache 传输。参见 Dynamo EFA 指南。 用有代表性的流量做 benchmark – 用 AIPerf 回放你的流量,或使用 生成的 agentic trace,其中包含有代表性的 prompt 长度、输出长度与前缀复用。对每种配置扫描并发,保留满足你 SLA 的点,再根据成本与延迟的优先级做选择。 从实测瓶颈出发调优 – 先调整拓扑与 worker 分配,再动引擎设置,每次只改一个变量。遵循性能调优指南,或使用 Dynamo 优化 agent skills 协助 benchmark 与调优。每个候选方案都要在你目标 HyperPod 部署上验证。
结论
SageMaker HyperPod Inference 上的 NVIDIA Dynamo 简化了大型模型的部署与运维,具备多节点服务、分离式 prefill 与 decode,以及 KV-aware 路由。托管的 add-on 负责安装服务组件,配置默认值则简化了 endpoint 搭建。HyperPod 管理模型权重,根据 GPU 与推理指标自动扩缩集群,监控节点健康,并替换故障节点。这些能力合在一起,减少了与业务无关的基础设施工作,让团队可以专注于自己的模型与应用。请从链接的仓库中获取搭建说明与完整部署示例。
致谢
作者感谢 NVIDIA 的 Eliuth Triana、Felipe Garcia、Sanjana Checker、Junyuan Yang、Jiahong Liu、Anish Maddipoti、Jacob Kern 和 Abdullahi Olaoye 对本文的贡献。我们也感谢 AWS 的 Can Sun、Ophelia Yang、Aryaman Kothari、David Oh 和 Ayush Kumar 的贡献。
关于作者