在线AI教程 / AI实例

[Amazon Bedrock] GS Caltex 借助 Amazon SageMaker Canvas 落地生产级 MLOps,第 1 部分

· 转自:aws.amazon.com

人工智能 GS Caltex 借助 Amazon SageMaker Canvas 落地生产级 MLOps,第 1 部分 GS Caltex 用 Amazon SageMaker

转载本文转自「aws.amazon.com」,版权归原作者所有,内容已摘录正文、去除外部链接。

人工智能

GS Caltex 借助 Amazon SageMaker Canvas 落地生产级 MLOps,第 1 部分

GS Caltex 用 Amazon SageMaker Canvas 和 Amazon SageMaker Pipelines 把工艺工程师的模型接入生产工作流。这家韩国能源与化工企业把模型开发与运营分给技能互补的两类工程师。

工艺工程师凭借自身的工艺知识,在 SageMaker Canvas 里无需写代码就能构建和验证模型。机器学习 (ML) 工程师则配置 SageMaker Pipelines 工作流,用于部署和定时推理。

把资产从 SageMaker Canvas 迁到 SageMaker Pipelines 仍需要集成工作:ML 工程师得设定生产数据路径、提供模型配置、把预处理和推理作业串起来。GS Caltex 把这段交接自动化了,同时复用了在 SageMaker Canvas 中创建的资产。

GS Caltex 表示,其 ML 工程师现在几小时内就能部署模型,而此前大约要一周。公司每 30 分钟跑一次批量推理,减少了对持续运行端点的依赖。GS Caltex 称这显著降低了推理成本。

本文介绍 GS Caltex 如何把 SageMaker Canvas 接到 SageMaker Pipelines,并在生产中复用经过验证的预处理流程和模型。

解决方案概述

机器学习运维 (MLOps) 工作流有两条路径:为部署准备新的模型版本,以及用已部署的模型运行批量推理。

从经过验证的模型到可重复的工作流

你可以用 SageMaker Canvas 可视化地准备数据、构建模型、生成批量预测,也可以从 SageMaker Canvas 把验证过的模型注册到 Amazon SageMaker Model Registry。GS Caltex 另外搭了一套交接流程,把这些资产转成可执行的 SageMaker Pipelines 步骤。

工艺工程师熟悉工艺背后的变量和数据,判断模型预测是否有用;ML 工程师则把产出的资产变成生产作业,并管理模型版本与执行历史。

方面在 SageMaker Canvas 中准备什么在生产工作流中管理什么 数据准备用 Data Wrangler 构建的预处理流程Amazon SageMaker Processing 中的预处理作业 模型开发训练好的模型与评估结果Model Registry 中的模型版本与审批状态 预测模型预测的验证用已批准的模型每 30 分钟做一次批量推理 运营单个模型的开发与验证步骤执行历史、存储的结果与失败处理

参考架构

下图展示工艺工程师如何把 SageMaker Canvas 资产交给 ML 工程师,用于部署和定时推理。ML 工程师用 Amazon Simple Storage Service (Amazon S3) 存放预处理流程、用 Model Registry 管理模型版本,再通过 Amazon EventBridge 安排管道运行。

图 1:接入 SageMaker Pipelines 工作流以做定时批量推理的 SageMaker Canvas 资产

ML 工程师从 SageMaker Canvas 拿到预处理流程和模型,核对数据格式与预测结果;核对之后,在 Model Registry 里批准该模型并部署。这套准备工作只在部署新模型版本时做一次,后续推理运行直接复用已部署的模型。

Amazon EventBridge 启动每一次定时运行。SageMaker Pipelines 从 Amazon Simple Storage Service (Amazon S3) 准备输入数据,运行预处理和 SageMaker Batch Transform,并把结果存回 S3。ML 工程师可以查看步骤状态和 Amazon CloudWatch 日志来监控工作流。

生产管道复用了在 SageMaker Canvas 中创建的预处理逻辑和训练好的模型。ML 工程师配置输入输出路径、设定执行顺序,并编写把审批与调度接入工作流的代码。

先决条件

在开始之前,请准备以下内容:

在 SageMaker Canvas 中构建并评估好的模型,以及配套的 Data Wrangler 预处理流程 用于推理的 CSV 数据,以及存放这些文件的 S3 存储桶。 一个 SageMaker 执行角色,以及一个有权启动管道的 Amazon EventBridge 角色 装好 Boto3 和 SageMaker Python SDK 2.x 的 Python 环境。

完整的参考实现放在 GitHub 仓库。本文的代码示例只聚焦组件之间的连接。仓库用的是一个贷款分类示例模型,请把配置改成与你模型的输入输出格式一致。

技术实现

下面的步骤涵盖预处理复用、模型审批与部署、管道构建,以及定时推理。

  1. 用 SageMaker Processing 运行 SageMaker Canvas 预处理流程

在 SageMaker Canvas 里用 Data Wrangler 创建的预处理流程,会记录数据源和转换步骤。要搭好参考实现,先用 SageMaker Processing 把数据导出到 Amazon S3,再取回该作业的设置和它用到的 .flow 文件。

在导出设置里,关掉 Auto job configuration,选择 SageMaker Processing。导出启动后,到 Amazon SageMaker AI 控制台打开 Processing 作业详情,记下容器镜像 URI、名为 flow 的输入对应的 S3 URI、执行角色和输出设置。用这些值来配置运行 .flow 文件的管道步骤。

SageMaker 执行角色必须有权读取所需的 S3 数据、写入结果、访问容器镜像。实例类型和数量按要处理的数据量来选。

保留经工艺工程师验证过的预处理逻辑,只按生产环境调整数据源、路径和其他设置。对照原始作业配置,核对容器镜像和输出节点。

检查项要做什么 输入位置核对 .flow 文件里数据源引用的 S3 URI。把原始数据上传到别处并不会更新这个引用。 容器镜像使用 S3 导出时创建的 Processing 作业里的镜像,并固定一个能复现已验证转换的版本。 输出 ID使用导出配置里的输出节点和输出名称。若要求的格式是 {node_id}.{output_name},就严格按此匹配。 学习到的转换参数保留训练期间学到的值,例如缩放和编码参数。不要在每个推理批次上重新拟合。 验证对同一份输入,比较 SageMaker Canvas 与 Processing 产出的列、数据类型和转换值。

有些 .flow 文件带有执行元数据,例如 internal_metadata.dw_job.container_uri。别假定每次导出都含这个字段,应去核对实际 Processing 作业的设置。如果把工作流迁到另一个 AWS 区域,要确认容器镜像在那里可用。

参考实现按执行把中间产物和最终输出分开,放在 runs// 下。它的 PrepareInput 步骤把数据写到 .flow 文件引用的固定 S3 位置。要避免共用这一输入路径的多次执行相互重叠。

如果连每次执行的输入数据也要隔离,就加一个准备步骤,在 .flow 文件的副本里更新源 URI。仅仅声明一个 SageMaker Pipelines 参数,并不会自动替换文件里的 URI。

  1. 处理训练输入与推理输入的差异

目标列是训练数据与推理数据的差异之一。用训练数据构建的流程里,可能含有要求输入 schema 带目标列的转换;而推理数据并不包含这个已知结果。

参考实现在预处理之前加了一个 PrepareInput 步骤:若目标列缺失,就用占位值补上;预处理之后,DropTargetColumn 再把这一列删掉。占位值的数据类型和列位置要与训练 schema 对齐,并且只按原始顺序把预期特征传给模型。

PrepareInput -> PreprocessNewData -> DropTargetColumn -> BatchPredict -> AssembleResults

只有当占位目标不影响特征值时,才能用这个办法。若流程按目标过滤行、从目标派生特征,或做目标编码,就需要另行处理:把推理所需的转换和学习状态单独拆出来。

验证要覆盖列顺序与列数、数据类型、缺失值处理和行数。删掉目标列之后,确认剩下的列与训练时使用的特征顺序一致。

  1. 注册、审批并部署模型

把验证过的 SageMaker Canvas 模型版本注册到 Model Registry。注册的版本可以包含模型文件、推理配置和评估结果。ML 工程师先审阅这些信息,再更改审批状态。

模型文件(如 model.tar.gz)必须搭配正确的推理容器和环境设置使用。Model Registry 里的模型包把这些信息归拢到一起。在这套批量架构中,部署会从已批准的模型包创建一个 SageMaker 模型资源,供 Batch Transform 引用。

下面的示例先检查一个已批准的模型包,再创建模型资源。部署时提供 model_package_arn、model_name 和 sagemaker_role_arn。示例为每个版本使用不同的模型名称。

import boto3

sm_client = boto3.client("sagemaker") package = sm_client.describe_model_package( ModelPackageName=model_package_arn )

if package["ModelPackageStatus"] != "Completed": raise RuntimeError("Model package is not ready") if package["ModelApprovalStatus"] != "Approved": raise RuntimeError("Model package is not approved")

sm_client.create_model( ModelName=model_name, ExecutionRoleArn=sagemaker_role_arn, PrimaryContainer={"ModelPackageName": model_package_arn}, )

Model Registry 会记录审批状态,但不会对每次推理请求强制做审批校验。要在部署代码里检查这个状态,并把选定的模型包 ARN 和模型名称留在管道配置中。一旦审批被撤销,就更新用到该模型的调度与执行配置。

注册和部署只在模型版本发布时进行。每 30 分钟运行一次的管道用该模型创建 Batch Transform 作业,因此不必每次运行都重新注册模型。

  1. 串起预处理、推理与结果组装

推理管道有五个步骤。

步骤作用输入与输出 PrepareInput需要时补上占位目标列新的推理数据 -> 带目标列的数据 PreprocessNewData运行 SageMaker Canvas 预处理流程准备好的输入与 .flow -> 转换后的数据 DropTargetColumn删除目标列和 CSV 表头转换后的数据 -> 无表头的特征 CSV BatchPredict用已批准的模型跑批量推理特征 CSV -> 预测文件 AssembleResults把预处理数据与预测合并预处理数据与预测文件 -> 最终结果 CSV

串接步骤之前,先配置好每个作业。下例中,prepare_args、preprocess_args、drop_target_args 和 assemble_args 保存的是使用 PipelineSession 的处理器上 run() 调用返回的步骤参数。处理器和 transformer 共用 pipeline_session 对象。用先前部署好的 model_name 配置 transformer。

from sagemaker.workflow.pipeline import Pipeline from sagemaker.workflow.steps import ProcessingStep, TransformStep

prepare = ProcessingStep( name="PrepareInput", step_args=prepare_args ) preprocess = ProcessingStep( name="PreprocessNewData", step_args=preprocess_args, depends_on=[prepare], ) drop_target = ProcessingStep( name="DropTargetColumn", step_args=drop_target_args, depends_on=[preprocess], )

The DropTargetColumn job defines an output named "features".

features_uri = ( drop_target.properties.ProcessingOutputConfig .Outputs["features"].S3Output.S3Uri ) predict = TransformStep( name="BatchPredict", step_args=transformer.transform( data=features_uri, content_type="text/csv", split_type="Line", ), ) assemble = ProcessingStep( name="AssembleResults", step_args=assemble_args, depends_on=[predict], )

pipeline = Pipeline( name="canvas-process-inference", steps=[prepare, preprocess, drop_target, predict, assemble], sagemaker_session=pipeline_session, ) pipeline_arn = pipeline.upsert(role_arn=sagemaker_role_arn)["PipelineArn"]

下面的执行图展示了示例贷款模型推理工作流中的五个步骤:准备输入、应用预处理、删除目标列、运行批量推理、组装结果。截这张图时,执行处于 Executing 状态。

图 2:示例贷款模型的 SageMaker Pipelines 执行图

用 depends_on 控制执行顺序,通过步骤输出属性传递数据。例如,assemble_args 必须拿到预处理数据的位置和 predict.properties.TransformOutput.S3OutputPath。输出名 "features" 属于 DropTargetColumn;Data Wrangler 步骤用的是其预处理流程里定义的输出 ID。

在参考实现里,AssembleResults 按行位置把预处理数据和预测拼在一起。投产前要加上检查:确认文件顺序和行数一致,不一致就停止生成结果。如果预处理会排序或删行,就要维护源记录 ID 与预测之间的明确映射。

  1. 每 30 分钟调度一次推理

GS Caltex 每 30 分钟跑一次推理。下例用一条 Amazon EventBridge 规则来调度 SageMaker Pipelines 执行。先创建管道、手动跑一次验证,再挂上调度。

import boto3

events_client = boto3.client("events") rule_name = "canvas-process-inference-every-30-minutes"

events_client.put_rule( Name=rule_name, ScheduleExpression="rate(30 minutes)", State="ENABLED", )

result = events_client.put_targets( Rule=rule_name, Targets=[{ "Id": "canvas-process-inference", "Arn": pipeline_arn, "RoleArn": eventbridge_role_arn, }], ) if result["FailedEntryCount"]: raise RuntimeError(result["FailedEntries"])

把 eventbridge_role_arn 设为一个信任 Amazon EventBridge 服务主体 events.amazonaws.com、且对目标管道拥有 sagemaker:StartPipelineExecution 权限的角色。pipeline_arn 标识上一步创建的管道。

表达式 rate(30 minutes) 按 30 分钟间隔调度运行。要在整点和半点运行,用 cron(0/30 ? )。每次运行处理哪段数据窗口,在输入准备步骤里定好,并随该次执行一并记录。

运维注意事项

启用定时运行之前,先把总成本、执行时间,以及无效或不匹配数据的处理方式核对清楚。

评估整个工作流的批量成本

Amazon SageMaker Pipelines 是一项 serverless 工作流编排服务。它管理执行顺序和依赖关系,你无需预置或维护工作流服务器。Processing 和 Batch Transform 作业使用各自独立的计算资源,按实例类型和时长计费。

预置的实时端点适合需要稳定低延迟响应的请求。Batch Transform 适合能把一批记录放在一起处理的工作负载:作业结束时它会释放计算资源,因此不必为每个模型常开一个推理端点也能跑预测。

考量预置的实时端点搭配 Batch Transform 的 SageMaker Pipelines 资源生命周期实例持续可用,随时响应请求每个作业按需预置、用完释放 成本驱动因素端点运行时长与容量作业时长、频率、实例数及配套服务 适合的工作负载即时响应与持续的在线请求按定时间隔处理累积的数据 新增模型端点容量与持续托管成本额外的处理量、作业时长与并发上限

每 30 分钟一次的计划,一天会产生 48 次定时运行。估算总运行时间时要把预处理、实例启动、推理和后处理都算进去。成本比较还应计入 Processing、S3、CloudWatch 等工作流用到的其它服务。

按实测用量评估每个工作负载的成本,把配套服务和每次定时作业的完整运行时长都纳入。

核对运行时长与执行重叠

每 30 分钟启动一次,并不保证每次都能在这个间隔内跑完。用有代表性的数据测出管道的完整运行时长,把实例启动和失败作业重试所需的时间也算上。

要定好:上一次执行还没结束、新的定时运行就到来时该怎么办。控制单条管道内的并行步骤,挡不住不同管道执行之间互相重叠。检查活跃执行、避免同一输入窗口被重复处理,并把每次运行的输出路径分开。

每次运行都记录输入数据窗口、预处理流程版本、模型包 ARN、管道执行 ARN 和输出位置。这些细节有助于复现结果、排查错误。

验证输出与失败行为

启用调度之前,完成以下检查:

用一份验证数据集分别跑 SageMaker Canvas 和 Processing,比较输出列、数据类型、行数和关键转换值。 确认补占位目标不会改变特征值,且该目标已从模型输入中移除。 用已批准的模型版本跑 Batch Transform,核对源记录与预测之间的对应关系。 确认无效的输入 schema 或预处理失败会拦住下游推理和结果发布。 测量运行时长与成本,测试执行重叠和同一输入窗口的重复处理,之后再启用 30 分钟调度。

为作业失败和处理延迟加上 CloudWatch 告警,按需再配数据质量或模型监控。初始阈值按实测运行时长和数据特征来设,模型或数据量变化时重新审视。

采用路径与成效

分阶段推广,团队可以先验证交接流程,再在各模型间标准化。下面介绍一套采用路径,以及 GS Caltex 报告的成效。

从模型开发走向常态化运营

先验证一个模型通往生产的路径,再把各次部署中重复的步骤标准化。下面的顺序是基于 GS Caltex 经验给出的建议路径。

阶段目标范围 爬在生产中复现开发结果验证 SageMaker Canvas 模型、注册到 Model Registry、手动运行管道 走建立可靠的定时运行检查审批、按所需间隔调度运行、加失败告警、按执行管理输出 跑把运营流程复用到各模型引入通用模板、持续集成与持续交付 (CI/CD)、变更验证,以及运营责任移交的流程

随着自动化铺开,工艺工程师继续判断预测对工艺是否有用,ML 工程师则负责管道的执行与变更。

GS Caltex 的成效

GS Caltex 减少了把 SageMaker Canvas 模型接入生产所需的重复劳动。ML 工程师现在几小时内就能部署模型,此前大约要一周;他们还复用了工艺工程师在 SageMaker Canvas 里验证过的资产。

看到自己的模型用在生产里之后,工艺工程师开始提议把它应用到其它工艺上。ML 工程师花在重复集成上的时间少了,可以专心运营和监控管道。

成效报告的结果 模型部署时间此前约一周,现在几小时内 推理频率每 30 分钟 成本影响显著节省成本 工程工作工艺工程师提出新的应用;ML 工程师专注于管道运营与监控

清理测试资源

对测试部署,先禁用 Amazon EventBridge 规则并移除其目标。等活动中的管道执行和作业都结束后,再删除测试管道及其 SageMaker 模型资源。

如果为测试建过实时端点,也一并删除。从 S3 清掉输入、中间和预测文件,按保留策略清理 CloudWatch 日志。删除模型文件和 Model Registry 版本之前,先确认没有其它执行或审计要求还依赖它们。

结论

在 GS Caltex,工艺工程师在 SageMaker Canvas 里创建并验证模型,ML 工程师用这些资产在 SageMaker Pipelines 中运行生产工作流。这套交接减少了重复的集成工作。GS Caltex 表示,ML 工程师现在几小时内就能完成模型部署,此前大约要一周。

交接内容除了模型文件,还得包含预处理流程、输入 schema、推理配置和审批流程。要验证工作流能复现预期结果,并能按要求的节奏可靠运行。

想试这套做法,就从你在 SageMaker Canvas 里验证过的一个模型开始,配合 GitHub 仓库。定义和运行工作流的细节见 SageMaker Pipelines 开发者指南。先用一次手动执行核对预处理和批量预测结果,再按应用需要的间隔调度运行。

在第 2 部分,我们会介绍 GS Caltex 如何用 Amazon Bedrock 把已有模型自动迁移到这条管道上。

关于作者