在线AI教程 / AI上云
[Amazon Bedrock] 在 Amazon SageMaker JumpStart 上使用 OpenTSLM 对时间序列数据进行推理
Artificial Intelligence 在 Amazon SageMaker JumpStart 上使用 OpenTSLM 对时间序列数据进行推理 在各个行业,决策都始于理
Artificial Intelligence
在 Amazon SageMaker JumpStart 上使用 OpenTSLM 对时间序列数据进行推理
在各个行业,决策都始于理解什么在变化、以及为什么变化。工业组织收集的数据支撑着其运营各环节的决策。这些数据有助于防止生产停顿、诊断车辆故障、解释数据中心性能下降,并在供需变化时调整定价。然而,解读这些数据仍然需要专家投入时间,而且收集更多数据并不意味着团队就能据此行动。像 Claude 或 ChatGPT 这样的通用语言模型可以帮助分析数据。但是,把横跨数百项运营指标的长历史以文本或图像形式处理,会消耗大量 token,从而推高成本。
为了帮助组织基于这些数据采取行动,Aionic Labs 正在开发时序基础模型,其中包括 OpenTSLM——一个开源的时序语言模型(TSLM)系列。这些模型会解读运营测量数据(从设备传感器数据到供需数据),并结合维护记录、市场新闻、工程师观察等上下文。这样一来,TSLM 帮助系统识别近期测量数据中新出现的问题。专家随后可以追问,以理解发生了什么变化,并评估如何应对。TimeNet 是时序数据的共享数据基础设施,提供统一的格式和 API,用来查找、构建和加载用于训练与评估这些模型的数据集。两者结合,帮助组织理解自身系统如何变化,并在问题变得代价高昂之前采取行动。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中提供,因此你可以将模型部署在自己的 AWS 环境中。本文探讨 Nexthink 和 Aionic Labs 如何把这项能力用于主动式 IT 支持,然后演示如何部署 OpenTSLM,并用 TimeNet 把它适配到你自己的数据上。

图 1. 时序语言模型把数值测量与文本上下文和问题结合起来。潜在应用横跨物理系统与数字系统,并针对每项任务进行适配与评估。
客户案例:Nexthink 的主动式 IT 支持
Nexthink 和 Aionic Labs 正在构建这样一种数字工作场所:员工在开口求助之前就能得到帮助。核心是 Spark——Nexthink 的个人 IT agent,它借助时序语言模型得到增强,把设备遥测和上下文与员工遇到的问题关联起来。Spark 把这种理解转化为行动:检查可能的问题、引导员工完成合适的修复,并跟进结果。主动式协助成为让工作持续推进的一部分。
该工作流把近期的设备时序数据——例如 CPU 活动、内存使用、可用磁盘空间、应用稳定性和连接性——与带时间戳的事件以及设备和软件上下文结合起来。TSLM 接收这些数值测量以及文本上下文,并解读信号在观察窗口内如何变化。
TSLM 为 Spark 提供三类输出:
状态摘要: 解释可能的问题及其支撑信号模式,把设备行为与员工的体验联系起来。 建议操作: 说明用于确认问题的检查项,以及 Spark 可以提供给员工的一项切实可行的操作。 预期结果: 描述预期的改善,以及 Spark 如何检查结果。
设备遥测和上下文支持调查一系列问题,包括 CPU 或内存高负载下性能变慢、应用反复卡死或崩溃,以及文件无法同步。资源使用情况、应用事件、存储测量值和连接活动提供了不同方面的证据。结合设备配置和软件版本,它们让 TSLM 拥有更广泛的基础,用来解释员工的体验并指导 Spark 接下来的检查。
在图 2 的示意性低磁盘空间示例中,TSLM 把可用空间下降、磁盘队列上升以及应用卡顿更频繁这些现象,与员工可能出现的症状(例如电脑变慢或保存文件困难)联系起来。Spark 检查还剩多少空间,以及能否通过 IT 批准的清理移除临时文件。如果检查确认清理是合适的,Spark 会向员工展示它打算删除的内容并请求确认。员工确认后,Spark 执行清理、检查现在可用的空间,并询问问题是否有所改善。如果问题仍然存在,Spark 提出可以把发现转交给 IT 支持。
TSLM 理解系统如何变化,并帮助人们基于这种理解采取行动。对 Spark 而言,这意味着识别新出现的 IT 问题,并引导员工找到解决方案。同样的方法把时序智能带到制造业、能源和联网产品中,把测量数据和上下文转化为解释与智能决策。

图 2. Nexthink 中低磁盘空间场景的示意性主动支持工作流。OpenTSLM 根据设备历史和上下文生成状态摘要、建议操作和预期结果。Spark 检查设备,在员工确认后执行 IT 批准的清理,并跟进结果。
解决方案概览
图 3 中的架构为时序应用提供了一种可复用的部署模式。SageMaker JumpStart 提供模型发现和部署路径。
SageMaker JumpStart 是一个机器学习(ML)模型中心,可加速你的 ML 之旅。借助 SageMaker JumpStart,你可以评估、比较并部署预训练基础模型(FM),包括最新可用的 OpenTSLM 模型。作为 AWS AI 产品的一部分,SageMaker JumpStart 提供可定制的 ML 解决方案,你可以将其部署到自有 AWS 基础设施内的 Amazon SageMaker AI 推理 endpoint。它与 Amazon Bedrock 相辅相成,后者提供 serverless 的基础模型 API 推理,以及定制化、知识库、agent 和护栏等功能。
SageMaker AI 和 SageMaker JumpStart 的主要技术优势包括:
预构建的推理容器——带 GPU 加速的 AWS Deep Learning Containers,无需自行构建镜像即可提供模型服务。 自动扩缩容的 endpoint——托管基础设施会根据请求量和延迟要求扩缩计算资源。 推理 API——SageMaker 实时推理 endpoint,提供标准化 API 调用、SDK 以及与 AWS Identity and Access Management(IAM)的集成。 集成监控——内置吞吐量、延迟和资源利用率指标,并与 Amazon CloudWatch 集成。 企业级安全——可部署在 Amazon Virtual Private Cloud(VPC)中,提供 IAM 访问控制和网络隔离选项。
SageMaker JumpStart 中的模型是 OpenTSLM-Flamingo。它把 Gemma 3 4B 语言模型与时序编码器以及交叉注意力层结合起来,让语言模型能够关注编码后的序列。该模型共有 52.4 亿参数,以 bfloat16 存储,因此其权重约占 10.5 GB GPU 显存。
应用准备好数值时间序列和文本上下文,调用 SageMaker endpoint,并接收模型的响应。应用可以把该响应呈现给专家,或将其作为另一个工作流的输入。
这种分离让应用可以控制观察窗口、选择相关信号,并在使用前验证响应。它也让模型可以独立地适配:在应用切换到新 checkpoint 之前,可以先用有代表性的案例评估新 checkpoint。
此外,我们还提供一个教程,演示如何在 TimeNet 加载的 ARFBench 数据上,对来自 Hugging Face 的预训练 OpenTSLM checkpoint 做 fine-tuning。notebook 会提交一个 SageMaker 训练作业,该作业通过 TimeNet 加载 ARFBench 并对模型做 fine-tuning。Amazon Simple Storage Service(Amazon S3)存储生成的模型产物,随后将其部署到单独的 SageMaker 实时推理 endpoint 进行评估。

图 3. 一种可复用的架构:通过 SageMaker JumpStart 部署 OpenTSLM,并从把时序数据与文本上下文结合的应用中调用它。
前提条件
对于本部署演练,请使用一个拥有 Amazon SageMaker AI domain 和 SageMaker AI execution role 的 AWS 账户。该角色必须能够在受支持的 Region 中创建 SageMaker 模型和 endpoint,例如使用带有 AmazonSageMakerFullAccess 托管策略的角色。单用户快速设置会同时创建这两者。该托管策略授予了上手所需的广泛权限。生产环境中,请使用只授予所需权限的策略,具体做法参见 Amazon SageMaker AI identity-based policy examples。OpenTSLM 运行在单块显存至少 24 GB 且支持 bfloat16 的 GPU 上,我们建议主机内存为 32 GB。默认实例类型是 ml.g6.2xlarge(一块 NVIDIA L4 GPU,24 GB 显存、32 GB 主机内存)。在 SageMaker JumpStart 中,OpenTSLM 还支持 ml.g6.4xlarge、ml.g6.8xlarge、ml.g5.2xlarge、ml.g5.4xlarge、ml.g5.8xlarge、ml.g6e.xlarge 和 ml.g6e.2xlarge。在 Service Quotas 控制台中,检查你为“ml.g6.2xlarge for endpoint usage”设置的配额,或为你所选实例类型对应的配额。配额至少需要为 1。如果配额更低,请申请提高配额。模型访问要求请参见 OpenTSLM JumpStart 模型卡。
进行 fine-tuning 时,请使用 Amazon SageMaker Studio 中的 JupyterLab 或已配置 AWS 凭证的本地 Jupyter 环境,来运行配套 notebook,由它提交训练作业。该 notebook 使用 SageMaker 默认的 S3 存储桶和一个执行角色。fine-tuning 在 ml.g7e.2xlarge 上运行,因此也请检查你为“ml.g7e.2xlarge for training job usage”设置的配额。训练在作业的托管 GPU 实例上运行。notebook 本身不需要 GPU。如需访问所选的 Hugging Face checkpoint,请按要求申请。
使用 SageMaker JumpStart 部署 OpenTSLM
要在 SageMaker Studio 中部署 OpenTSLM,请完成以下步骤:
在 SageMaker Studio 中,在导航窗格选择 Models,然后选择 JumpStart models。 搜索“OpenTSLM”,选择 OpenTSLM-Flamingo Gemma 3 4B。模型页面会显示模型 ID、许可证以及请求和响应格式。

图 4:SageMaker JumpStart 中的 OpenTSLM-Flamingo Gemma 3 4B 模型页面
选择 Deploy。 在 Deploy model to endpoint 表单中,在 License agreement 下阅读 Gemma 使用条款,并勾选复选框接受最终用户许可协议(EULA)。保留默认实例类型 ml.g6.2xlarge,或选择其他受支持的实例类型。然后选择 Deploy。

图 5:deploy model to endpoint 表单,使用默认的 ml.g6.2xlarge 实例类型和实时推理
等待 endpoint 状态变为 InService。在我们的测试中,这大约需要 6 分钟。记下 endpoint 名称,它以 jumpstart-dft- 开头。发送请求和清理时都要用到它。

图 6:SageMaker Studio 中已部署且状态为 InService 的 OpenTSLM endpoint
你也可以用 SageMaker Python SDK v3 从 Python 创建部署。下面的示例使用 ModelBuilder。该模型是受限(gated)模型:设置 accept_eula=True 即表示接受其许可证,即 Gemma 使用条款。部署前请先阅读这些条款。SDK 在构建模型时会打印指向条款的链接。
from sagemaker.core.helper.session_helper import get_execution_role from sagemaker.core.jumpstart.configs import JumpStartConfig from sagemaker.serve.model_builder import ModelBuilder from sagemaker.train.configs import Compute
MODEL_ID = "pytorch-reasoning-opentslm-flamingo-gemma3-4b" INSTANCE_TYPE = "ml.g6.2xlarge" # 1 x NVIDIA L4 (24 GB); ml.g5.2xlarge and ml.g6e.2xlarge also work ROLE_ARN = get_execution_role() # in SageMaker Studio; elsewhere, set your execution role ARN
builder = ModelBuilder.from_jumpstart_config( jumpstart_config=JumpStartConfig(model_id=MODEL_ID, accept_eula=True), compute=Compute(instance_type=INSTANCE_TYPE), role_arn=ROLE_ARN, ) builder.build(model_name="opentslm-blog-demo") endpoint = builder.deploy(endpoint_name="opentslm-blog-demo")
就时间序列提问
endpoint 接受包含一个或多个 instance 的 JSON 请求。每个 instance 包含一个问题、一条或多条数值序列,以及可选的上下文行。每条序列包含其数值、一个名称,以及对该信号的简短描述,例如单位和采样间隔。一条序列最多可包含 32,768 个值。endpoint 会把每条序列标准化为均值为 0、标准差为 1,并把原始均值和标准差以文本形式传给模型,因此模型同时获得信号的形状和尺度。缺失值请用 None 表示,模型会将其掩码。
使用 SageMaker Runtime 的 InvokeEndpoint API 发送请求。将 ENDPOINT_NAME 设置为与你的部署一致。调用方身份需要 sagemaker:InvokeEndpoint 权限。下面的合成 CPU 示例展示了一个请求。
import json
import boto3
ENDPOINT_NAME = "opentslm-blog-demo" runtime = boto3.client("sagemaker-runtime")
One hour of CPU utilization, one sample per minute, with a five-minute spike.
cpu = [21, 20, 22, 19, 21, 20, 23, 21, 20, 19, 22, 21, 20, 21, 19, 22, 20, 21, 23, 20, 21, 19, 20, 22, 21, 20, 19, 21, 78, 85, 82, 80, 79, 22, 20, 21, 19, 20, 22, 21, 20, 21, 23, 19, 20, 21, 22, 20, 19, 21, 20, 22, 21, 20, 19, 21, 22, 20, 21, 20]
request = { "instances": [{ "question": "Summarize the pattern and suggest what to check.", "series": [{ "values": cpu, # use None for a missing value "name": "CPU utilization (%)", "text": "CPU utilization (%), 1 sample/minute:", }], "context": ["The series covers 10:00 to 10:59 on a web server."], # optional }], "parameters": {"max_new_tokens": 128}, }
response = runtime.invoke_endpoint( EndpointName=ENDPOINT_NAME, ContentType="application/json", Body=json.dumps(request), ) print(json.loads(response["Body"].read())["generated_text"][0])
一个请求最多可包含四个 instance,每个 instance 可带 1 到 32 条序列,响应中 generated_text 会为每个 instance 给出一个答案。max_new_tokens 接受 1 到 512 的值。模型使用贪心解码,因此同一个请求通常返回相同答案。实时调用必须在 60 秒内完成,请求体最大 6 MB。在 ml.g6.2xlarge 上,模型每秒生成约 20 个 token。endpoint 会按顺序处理一个请求中的各个 instance,因此响应时间会随 instance 数量和答案长度增长:512 个 token 的答案大约需要 30 秒。要在 60 秒内完成,只有答案较短时才在一个请求中放多个 instance,例如把 max_new_tokens 设为 128。6 MB 的上限也限制了请求能携带多少序列数据。对于耗时较长的请求,可以使用异步推理。
你也可以用 AWS Command Line Interface(AWS CLI)发送同样的请求。先把请求保存为 JSON,例如使用 json.dump(request, open("request.json", "w")),然后运行:
aws sagemaker-runtime invoke-endpoint \ --endpoint-name opentslm-blog-demo \ --content-type application/json \ --body fileb://request.json \ response.json cat response.json
选择能保留相关事件的输入窗口
OpenTSLM-Flamingo 会在语言模型使用之前,把编码后的时间序列压缩成一组固定大小的表示。这限制了传给语言模型的表示规模,但并不意味着整个系统在内存上没有上限,也不能保证短暂事件在很长的记录中仍然容易识别。
长上下文研究让这一区别变得具体。TS-Haystack 在不同长度的记录上评估事件检索,发现被评估的 TSLM 变体常常随着历史变长而损失准确率,尤其是在定位事件起止时间时。这些结果说明有必要在你应用实际使用的窗口和问题上测试所选 checkpoint。
选择一个既包含该事件、又包含足够周边上下文以便解读的窗口。对于很长的记录,比较相互重叠的窗口。对短暂事件保留采样分辨率,并在时间上对齐相关通道。在文本上下文中注明单位、采样间隔和观察时段。在目标长度上分别验证正常和异常样本。endpoint 接受的负载大小与模型的有效分析窗口是两个相互独立的约束。
在 SageMaker 上使用 ARFBench 微调 OpenTSLM
完整示例请参考配套的 fine-tuning notebook,从用 TimeNet 准备 ARFBench 数据,到启动 SageMaker 训练作业并部署适配后的模型。
什么时候应该做 fine-tuning?
先在应用中有代表性的样本上测试预训练的 OpenTSLM 模型,评估它回答问题的效果。
使用预训练模型:当其答案正确、解释也与信号相符时。 改进输入:当缺少重要信息时,例如测量单位、采样率、系统上下文或相关时间窗口。 fine-tuning 模型:当即使上下文充足,模型仍持续漏掉你所在领域特有的模式,或难以完成你的任务时。使用有代表性的信号并配上经过审核的答案。
TimeNet 提供了一种一致的方式来加载训练和评估数据。fine-tuning 之后,在未用于训练的样本上比较适配后的模型与原始模型。
用 TimeNet 准备 fine-tuning 数据
ARFBench 是一个公开 benchmark,由针对 Datadog 软件事故遥测中异常的多选题组成。我们使用 ARFBench,是因为它的多选答案可以自动评分,从而让 fine-tuning 的效果可度量。同样的工作流也适用于开放式答案的任务,例如 Nexthink 示例中的摘要和建议操作。TimeNet 以版本化数据集的形式提供 ARFBench:每道题都与其选项、正确答案和指标信号一起存储。训练作业通过 TimeNet 加载 ARFBench,并从 Hugging Face 加载模型 checkpoint。
提交 SageMaker 训练作业并部署 fine-tuned 模型
SageMaker 训练作业在 GPU 实例上运行 OpenTSLM 训练脚本。该作业会对时序编码器、perceiver resampler、交叉注意力层以及语言模型的 token embedding 做 fine-tuning,其余 Gemma 3 语言模型部分保持冻结。作业会把 fine-tuned 模型按 Hugging Face 模型仓库的目录布局保存到 Amazon S3,并把训练前后的测试准确率写入 metrics.json 文件。如果你的 SageMaker Studio domain 配置了默认的 MLflow App,作业还会把训练损失、验证损失和测试准确率记录到其中,方便你在 MLflow UI 中比较多次运行。我们在单台 ml.g7e.2xlarge 实例上运行的结果是:在 135 道留出的 ARFBench 题目上,准确率从 5.0% 提升到 45.9%。根据 ARFBench 论文,这远高于在整个 benchmark 上随机选择所达到的 24.5%。fine-tuning 之前,模型把大多数答案留空;之后,它对每道题都用给定选项之一作答。ARFBench 在这里只是一个示例应用:它展示了如何用公开数据集把模型适配到新任务和新的答案格式。这个结果并不是与其他模型的对比,也不是官方 ARFBench 排行榜的结果。
下面这段摘自配套 notebook 的代码用 ModelTrainer 启动训练作业。scripts/train.py 加载 ARFBench、评估并对模型做 fine-tuning,然后将其保存到 FINETUNED_PREFIX。
trainer = ModelTrainer( training_image=TRAINING_IMAGE, # the SageMaker PyTorch 2.9 training image source_code=SourceCode( source_dir="scripts", entry_script="train.py", requirements="requirements.txt" ), compute=Compute(instance_type="ml.g7e.2xlarge", volume_size_in_gb=100), stopping_condition=StoppingCondition(max_runtime_in_seconds=24 60 60), hyperparameters={"base-model": BASE_MODEL, "output": FINETUNED_PREFIX, "epochs": 3}, role=ROLE_ARN, ) trainer.train()
要部署 fine-tuned 模型,请在 ml.g6.2xlarge 或 JumpStart 模型支持的其他实例类型上创建一个新的实时 endpoint,使用与 JumpStart 模型相同的容器镜像和环境变量,以及配套 notebook 提供的推理脚本。把它的模型数据指向 fine-tuned 模型文件的 S3 位置。请求格式保持不变,因此可以把上一节的请求发送给它。配套 notebook 中包含相关代码。
把工作流适配到你的领域
同一套工作流可以通过把信号窗口与相关问题、经过审核的答案配对,适配到其他时序任务。潜在示例包括:结合维护上下文解读设备行为、结合运行工况解释能耗模式,以及根据可穿戴设备测量描述活动情况。数据、监督信号和评估都应当反映目标领域,以及该应用要支持的决策。
在数据准备过程中保留测量的时间信息和含义,并以反映部署实际的方式划分训练数据和评估数据。对于预测类任务,输入中只应包含预测时可得的信息。领域专家应评估答案是否有信号依据,以及对目标工作流是否有用。对于自由文本答案,要把它们与经过审核的参考答案做比较,例如通过专家评分或 LLM-as-a-judge——即让语言模型按评分标准为每个答案打分。
清理
已部署的 endpoint 在被删除之前会持续产生费用。完成后,请删除该 endpoint、它的 endpoint 配置以及它的模型。如果你是从 SageMaker Studio 部署的,请运行以下命令,而不要选择 endpoint 页面上的 Delete,因为后者只会删除 endpoint。这些命令会根据 endpoint 名称查出配置名称和模型名称,并删除这三者。将 ENDPOINT_NAME 设置为你的 endpoint 名称,例如 Studio 部署的默认名称以 jumpstart-dft- 开头:
ENDPOINT_NAME=opentslm-blog-demo CONFIG_NAME=$(aws sagemaker describe-endpoint --endpoint-name "$ENDPOINT_NAME" \ --query EndpointConfigName --output text) MODEL_NAME=$(aws sagemaker describe-endpoint-config --endpoint-config-name "$CONFIG_NAME" \ --query 'ProductionVariants[0].ModelName' --output text)
aws sagemaker delete-endpoint --endpoint-name "$ENDPOINT_NAME" aws sagemaker delete-endpoint-config --endpoint-config-name "$CONFIG_NAME" aws sagemaker delete-model --model-name "$MODEL_NAME"
对 fine-tuned endpoint 的名称重复执行这些命令。停止 notebook 应用,并删除你不打算保留的、教程专用的 S3 数据和产物。训练作业完成后会自动停止。
结论
时序语言模型把数值测量与人们做决策时使用的问题、上下文和专业知识连接起来。在制造业、能源、可穿戴设备和数字基础设施等领域,它们为人和应用提供了一种共同的方式来解读系统如何变化。更大的机会在于把运营历史与语言连接起来,让过去的观察在当下的决策中更有用。
OpenTSLM 现已在 Amazon SageMaker JumpStart 中提供,因此你可以通过 SageMaker Studio 或 SageMaker SDK,将其部署到自有 AWS 环境中的实时推理 endpoint。TimeNet 和 SageMaker 训练作业提供了一条路径,把模型适配到你所在领域的信号和问题。
要开始使用,请浏览 Amazon SageMaker JumpStart,参照 AWS Samples 仓库中的示例,并查阅 OpenTSLM 仓库和 TimeNet 文档。从公开的 ARFBench 示例开始,在有代表性的案例上评估,然后引入你自己领域的信号、问题和专业知识。
关于作者