在线AI教程 / AI上云

[Amazon Bedrock] 借助 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本

· 转自:aws.amazon.com

人工智能 借助 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本 语音转文本推理是计算密集型的。每个音频文件都会触发一条由深度学习模型组

转载本文转自「aws.amazon.com」,版权归原作者所有,内容已摘录正文、去除外部链接。

人工智能

借助 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本

语音转文本推理是计算密集型的。每个音频文件都会触发一条由深度学习模型组成的流水线(声学模型、语言模型,以及后处理阶段),跑在 NVIDIA GPU 上以满足延迟要求。规模一上来,就意味着成千上万个 GPU 实例持续运转。

AssemblyAI 需要一种办法,既能大规模、低成本地跑 GPU 密集型推理工作负载,又不牺牲客户所依赖的可用性和延迟保证。全部跑在 On-Demand Instances 上成本高得不可接受。Spot Instances 能省下可观费用,但当别处需要容量时,Amazon Elastic Compute Cloud (Amazon EC2) 会提前 2 分钟发出通知并把它们回收。AssemblyAI 需要一套架构,能从容吸收 Spot 中断,同时守住服务级别协议 (SLA) 承诺。此外,医疗保健、金融、法律等受监管行业的客户必须把音频数据留在特定的地理边界内,他们在欧洲 AWS 区域落地了严格的数据驻留配置。

AssemblyAI 已上架 AWS Marketplace,提供用于转录、说话人检测、情感分析、章节检测,以及 personally identifiable information (PII) 脱敏的 API。他们的模型为科技、媒体、医疗保健、金融服务等行业的大批量工作负载转录并分析语音。

本文展示 AssemblyAI 如何为其语音转文本平台大规模运行成本优化的 AI 推理。这套架构用到了 Amazon Elastic Container Service (Amazon ECS)、Amazon Elastic Compute Cloud (Amazon EC2) 的 Spot Instances,以及 Amazon Simple Queue Service (Amazon SQS)。这些服务把一支灵活的 NVIDIA GPU 机群、ECS 容量提供程序,以及一套基于队列的重试机制组合在一起。结果是显著省下成本,同时守住欧洲各 AWS 区域的 SLA 承诺。

方案概览

AssemblyAI 的推理平台跑在 Amazon ECS 上,计算容量由 ECS 容量提供程序管理。这支机群在多个 NVIDIA GPU 实例系列里混用 Amazon EC2 Spot Instances 和 On-Demand Instances,每块 GPU 跑一个推理模型,规模达数千个实例。这套架构建立在四根支柱上,共同交付成本优化且有韧性的推理:

混用 Spot 和 On-Demand 的 Amazon ECS 容量提供程序。 跨 EC2 实例类型(例如 g4dn.xlarge、g4dn.2xlarge、g5.xlarge、g5.4xlarge 和 g6.2xlarge)的多系列 GPU Spot 多样化。 用 Amazon SQS 做中断恢复的基于队列的重试架构。 为满足数据驻留合规,在美国西部(俄勒冈)us-west-2 和欧洲(伦敦)eu-west-2 做区域部署。

下图展示了这套方案的部署方式:

图 1:AssemblyAI 在 Amazon ECS 上的推理架构,采用 Amazon EC2 Spot GPU 实例和基于 Amazon SQS 的重试机制

一个 Amazon ECS 集群跑在跨多个可用区的 virtual private cloud (VPC) 里。集群承载 GPU 支撑的 ECS 任务(图中标为 ECS Task, GPU Spot 1 和 ECS Task GPU Spot 2),由它们轮询队列、处理推理作业。每个任务从 Amazon Simple Storage Service (Amazon S3) 取回音频文件,把完成的转录写进结果存储,AssemblyAI 再配置它把输出交付给最终客户。

当某个 Spot Instance 收到中断通知,Amazon EventBridge 会调用 Spot Interruption Handler(一个 AWS Lambda 函数)。这个函数把进行中的作业退回 Main Job SQS Queue,好让另一个健康的 ECS 任务接手。客户可以配置自己的系统,把重试次数耗尽的作业路由到 Dead Letter SQS Queue 待查。Amazon CloudWatch Metrics 监控整支机群的健康状况和 Spot 中断事件,为全系统提供可观测性。

Amazon ECS 容量提供程序与 Spot 多样化

要在不牺牲可靠性的前提下优化推理成本,AssemblyAI 在每个 ECS 集群里用一条容量提供程序策略配置多个容量提供程序。一个 On-Demand 容量提供程序充当始终在线的基线,一个 Spot 容量提供程序则横跨不同的 GPU 实例系列和可用区,用来承接需求尖峰。每个容量提供程序都关联一个 Amazon EC2 Auto Scaling 组。Amazon ECS 托管扩缩容会依据容量提供程序权重和待处理的推理任务,自动扩缩 GPU 实例。任务队列变长时,Spot 容量提供程序就从多样化池里申请更多实例;需求回落时,实例平稳缩容。

最有效的 Spot 最佳实践之一,是在很宽的实例类型范围里保持灵活,以提高拿到所需聚合计算容量的概率。AssemblyAI 的基础设施不依赖单一 GPU 实例系列,而是横跨三个 Amazon EC2 GPU 实例系列:

g4dn 实例 – 由 NVIDIA T4 GPU 驱动,为标准语音识别模型提供高性价比的基线。 g5 实例 – 配备 NVIDIA A10G GPU,为要求更高的模型架构交付更高吞吐量。 g6 实例 – 采用 NVIDIA L4 GPU,为更大的模型(包括基于大语言模型的推理)带来更好的性价比。

把需求摊到不同实例系列和规格上,AssemblyAI 就能从大得多的可用 Spot 容量池里取资源。借助价格容量优化分配策略,Amazon EC2 会以最低价格从可用容量最充足的 Spot 容量池里置备实例,降低被中断的概率。

面向中断韧性的基于队列的重试

在 Spot 中断期间维持服务质量,是一项核心设计要求。AssemblyAI 用 Amazon SQS 把作业提交和执行解耦。转录请求到达后先放进一条 Amazon SQS 队列;跑在 GPU 实例上的 Amazon ECS 任务轮询队列、拉取作业、执行推理流水线。单个作业通常要 15 秒到几分钟不等,取决于音频长度。

当某个 Spot Instance 收到 2 分钟的中断通知,重试流程是这样走的:

能在 2 分钟窗口内做完的进行中作业照常完成;需要更久的作业退回 Amazon SQS 队列,立刻可供其他 worker 领取。 另一个健康的 GPU 实例接走这条消息——可能在另一种实例类型上、或在另一个可用区里——把推理做完。

为缩短恢复时间,AssemblyAI 会在大约 2 分钟内做出包含模型产物和容器镜像的自定义 Amazon Machine Images (AMIs)。对最终客户来说,Spot 中断的影响只是处理时间略长一点,转录仍会成功完成并按预期交付。

面向数据驻留的区域部署

在多个 AWS 区域运行,让 AssemblyAI 能服务受监管行业的客户——医疗保健、金融服务、法律服务等等,这些行业的音频数据绝不能离开特定的地理边界。每个 AWS 区域都跑一份完全独立的推理架构副本:自己的 Amazon SQS 队列、Amazon ECS 集群、容量提供程序和 GPU 机群。这些欧洲区域提供多种 GPU 实例系列(g4dn、g5、g6),Spot 定价也很有竞争力。这种实例多样性支撑起可靠的基于 Spot 的推理服务,同时满足严格的数据驻留要求。

结果

在生产环境里跑带 GPU 的 Amazon EC2 Spot Instances,让 AssemblyAI 的推理计算成本比 On-Demand 定价省了 70%。平台的计算需求同比增长近 4 倍,这套基于 Spot 的架构仍把单位经济效益维持在可持续的水平。在这个规模上运营,AssemblyAI 体会到:跨实例系列和规格做多样化,是把 Spot 中断率压到最低最有效的杠杆。g4dn、g5、g6 三个系列接的是彼此独立的容量池,一个系列遇到容量紧张,另外几个照样可用。从第一天起就用基于队列的重试和快速预热来设计容错,把 Spot 中断变成了例行事件,同时守住 SLA 承诺。

结论

凡是在跑具有类似特征的批量或近实时 AI 工作负载的团队(GPU 计算上短生命周期、可独立重试的作业),都可以套用这套模式。先做实例系列多样化,再建起基于队列的容错,就能用上高性价比的 Spot 基础设施,而不牺牲可用性。

开始上手:在 Amazon ECS 上跑 GPU 任务,可参见 适用于 GPU 工作负载的 Amazon ECS。要评估自己工作负载的 Spot 可用容量,可以了解加速计算的 Spot placement scores 和 Amazon EC2 Spot Instances 最佳实践。AssemblyAI 的 Speech-to-Text API 已上架 AWS Marketplace。想进一步了解他们的平台,请访问 assemblyai.com。

关于作者