Meta 的 Llama 32 模型现在可以在 Amazon SageMaker JumpStar

Llama 32模型现已在Amazon SageMaker JumpStart中提供

关键要点

Meta的Llama 32模型现已在Amazon SageMaker JumpStart中上线，提供多模态视觉和轻量化模型。新模型在行业基准上表现出色，支持更广泛的应用场景。本文将演示如何使用SageMaker JumpStart发现和部署Llama 32 11B视觉模型，并列出可用的实例类型和背景信息。

今天，我们高兴地宣布，Llama 32模型已在Amazon SageMaker JumpStart中上线。Llama 32代表Meta在大规模语言模型LLMs方面的最新进展，提供多模态视觉和轻量化模型，具备增强的功能和更广泛的适用性，能够支持多种用例。这些新模型专注于负责任的创新和系统安全，展示了在广泛行业基准下的最先进表现，并引入了帮助您构建新一代AI体验的功能。SageMaker JumpStart是一个机器学习ML中心，提供算法、模型和ML解决方案的访问，以便您快速入门。

本文将介绍如何使用SageMaker JumpStart发现和部署Llama 32 11B视觉模型，并分享SageMaker JumpStart中所有可用Llama 32模型的支持实例类型和背景信息。虽然本文未特别突出，但您还可以使用轻量化模型以及在SageMaker JumpStart中进行微调。

Llama 32模型在所有支持SageMaker JumpStart的地区均可用。请注意，Meta对您在欧盟使用多模态模型的权限设置了限制。有关详细信息，请参阅Meta的社区许可证协议。

Llama 32概述

Llama 32是Meta在LLMs领域的最新成果。Llama 32模型提供了多种尺寸，从小型到中型的多模态模型。较大的Llama 32模型有两种参数大小11B和90B，具有128000的上下文长度，能够执行复杂的推理任务，包括对高分辨率图像的多模态支持。轻量化的文本模型则有1B和3B参数大小，均具有128000的上下文长度，适合边缘设备。此外，还有一个新的安全机制Llama Guard 3 11B视觉参数模型，旨在支持负责任的创新和系统安全。

Llama 32是首个支持视觉任务的Llama模型，采用新的模型架构，将图像编码器表示集成入语言模型。专注于负责任的创新和系统安全，Llama 32模型帮助您构建和部署先进的生成AI模型，从而激发新创新，如图像推理，这些模型也更适合边缘应用。新模型设计更加高效，具有更低的延迟和更好的性能，适用于各种应用场景。

SageMaker JumpStart概述

SageMaker JumpStart提供访问一系列公开可用的基础模型FMs。这些预训练模型是能够深入定制以满足特定用例的强大起始点。现在，您可以使用最先进的模型架构，例如语言模型、计算机视觉模型等，而无需从头开始构建。

通过SageMaker JumpStart，您可以在安全环境中部署模型。这些模型可以在专用的SageMaker推理实例上进行配置，包括AWS Trainium和AWS Inferentia驱动的实例，并在您的虚拟私有云VPC中隔离运行。这增强了数据安全性和合规性，因为模型在您的VPC控制下运行，而不是在共享公共环境中。部署FM之后，您可以进一步使用Amazon SageMaker的广泛功能进行定制和微调，包括SageMaker推理以部署模型和容器日志以提高可观察性。借助SageMaker，您可以简化整个模型部署过程。

前提条件

要在SageMaker JumpStart中尝试Llama 32模型，您需要满足以下前提条件：

一个AWS账户，用于存放您的所有AWS资源。一个AWS身份与访问管理IAM角色，以访问SageMaker。如需了解IAM如何在SageMaker中工作，请参阅Amazon SageMaker的身份与访问管理。访问Amazon SageMaker Studio或SageMaker笔记本实例，或使用诸如PyCharm或Visual Studio Code等交互式开发环境IDE。我们建议使用SageMaker Studio以简化部署和推理过程。访问加速实例GPU以托管LLMs。

在SageMaker JumpStart中发现Llama 32模型

SageMaker JumpStart通过两个主要接口提供FMs：SageMaker Studio和SageMaker Python SDK。这为您发现和使用数百个针对特定用例的模型提供了多种选择。

SageMaker Studio是一个全面的IDE，提供统一的Web界面，用于执行ML开发生命周期的所有方面。从准备数据到构建、训练和部署模型，SageMaker Studio提供专用工具以简化整个流程。在SageMaker Studio中，您可以访问SageMaker JumpStart，以发现和探索可用于推理能力的FMs广泛目录。

在SageMaker Studio中，您可以通过在导航窗格中选择JumpStart或从主页选择JumpStart来访问SageMaker JumpStart。

另外，您还可以使用SageMaker Python SDK以编程方式访问和使用SageMaker JumpStart模型。这种方法提供了更大的灵活性，可以与现有的AI/ML工作流和流程集成。通过提供多个访问点，SageMaker JumpStart帮助您将预训练模型无缝整合到您的AI/ML开发工作中，无论您偏好哪种界面或工作流程。

西游加速服务器官网

使用SageMaker JumpStart部署Llama 32多模态模型进行推理

在SageMaker JumpStart登陆页面，您可以发现SageMaker提供的所有公共预训练模型。您可以选择Meta模型提供者标签以发现所有在SageMaker中可用的Meta模型。

如果您正在使用SageMaker Classic Studio却看不到Llama 32模型，请通过关闭并重启更新SageMaker Studio版本。有关版本更新的更多信息，请参阅关闭并更新Studio Classic应用。

您可以选择模型卡以查看模型的详细信息，例如许可、用于训练的数据及其使用方法。您还可以找到两个按钮，部署和打开笔记本，帮助您使用模型。

选择任一按钮后，将弹出一个窗口，显示最终用户许可协议EULA和可接受使用政策，以供您接受。

接受后，您就可以继续到下一步使用模型。

使用Python SDK部署Llama 32 11B视觉模型进行推理

在接受条款后，选择部署即可启动模型部署。或者，您可以通过选择打开笔记本通过示例笔记本进行部署。笔记本提供从头到尾的指导，教您如何部署模型以进行推理，并清理资源。

通过笔记本部署时，您需要选择适当的模型，由modelid指定。您可以在SageMaker中部署所选的任何模型。

可以使用以下SageMaker Python SDK代码，使用SageMaker JumpStart部署Llama 32 11B视觉模型：

pythonfrom sagemakerjumpstartmodel import JumpStartModelmodel = JumpStartModel(modelid=metavlmllama3211bvision)predictor = modeldeploy(accepteula=accepteula)

这将在SageMaker上使用默认配置包括默认实例类型和默认VPC配置部署模型。您可以通过在JumpStartModel中指定非默认值来更改这些配置。要成功部署模型，您必须手动将accepteula=True设置为部署方法参数。部署后，您可以通过SageMaker预测器对已部署的端点进行推理：

pythonpayload = { messages [ {role system content You are a helpful assistant} {role user content How are you doing today} {role assistant content Good what can I help you with today} {role user content Give me 5 steps to become better at tennis} ] temperature 06 topp 09 maxtokens 512 logprobs False}response = predictorpredict(payload)responsemessage = response[choices][0][message][content]

推荐实例和基准

以下表格列出SageMaker JumpStart中所有可用的Llama 32模型及其modelid、默认实例类型以及每个模型支持的最大总标记数输入标记数和生成标记数之和。为了增加上下文长度，您可以在SageMaker JumpStart UI中修改默认实例类型。

模型名称模型ID默认实例类型支持的实例类型Llama321Bmetatextgenerationllama321b metatextgenerationneuronllama321bmlg6xlarge (128K上下文长度)所有g6/g5/p4/p5实例 mlinf2xlarge等Llama321BInstructmetatextgenerationllama321binstruct metatextgenerationneuronllama321binstructmlg6xlarge (128K上下文长度)所有g6/g5/p4/p5实例 mlinf2xlarge等Llama323Bmetatextgenerationllama323b metatextgenerationneuronllama323bmlg6xlarge (128K上下文长度)所有g6/g5/p4/p5实例 mlinf2xlarge等Llama323BInstructmetatextgenerationllama323binstruct metatextgenerationneuronllama323binstructmlg6xlarge (128K上下文长度)所有g6/g5/p4/p5实例 mlinf2xlarge等Llama3211BVisionmetavlmllama3211bvisionmlp4d24xlarge (128K上下文长度)p4d24xlarge等Llama3211BVisionInstructmetavlmllama3211bvisioninstructmlp4d24xlarge (128K上下文长度)p4d24xlarge等Llama3290BVisionmetavlmllama3290bvisionmlp524xlarge (128K上下文长度)p4d24xlarge等Llama3290BVisionInstructmetavlmllama3290bvisioninstructmlp524xlarge (128K上下文长度)p4d24xlarge等LlamaGuard311BVisionmetavlmllamaguard311bvisionmlp4d24xlargep4d24xlarge等

Llama 32模型已经在150多个基准数据集上进行了评估，显示出与领先的FMs之间的竞争性能。

Llama32 11B视觉模型的推理和示例提示

您可以将Llama 32 11B和90B模型用于文本和图像或视觉推理用例。您可以执行各种任务，例如图像标注、图像文字检索、视觉问答与推理、文档视觉问答等。输入有效载荷的格式示例如下：

仅文本输入

下面是仅文本输入的示例：

python{ messages [ {role system content You are a helpful assistant} {role user content How are you doing today} {role assistant content Good what can I help you with today} {role user content Give me 5 steps to become better at tennis} ] temperature 06 topp 09 maxtokens 512 logprobs False}

这将产生以下响应：

plaintext这里有5个步骤可以帮助您提高网球水平：步骤1：培养稳定的发球强力发球是良好网球的基础。定期练习发球，培养稳定且有力的击球。专注于正确的脚步、握拍和身体姿势。尝试不同类型的发球，例如上旋和切削，以保持对手的猜测。步骤2：改善您的脚步和敏捷性良好的脚步对于正确击球和覆盖球场至关重要。练习快速移动、滑步和转身，提高您的敏捷性和反应速度。将梯形训练和锥形训练等练习纳入训练中以增强速度和敏捷性。步骤3：注重截击和高压球截击和高压球是赢得网前得分的关键。使用正手和反手握拍练习击球。专注于将球拍靠近球，利用手腕和手臂产生力度。步骤4：强化接发球接发球是网球中至关重要的一击，因为它为对手设置得分。练习以不同旋转回球，例如上旋和切削，专注于提前将球拍头指向球，并利用双腿产生力量。步骤5：分析自己的比赛，制定目的训练计划要提高水平，需要识别需要改进的地方并制定有目的的训练计划。记录比赛并分析，以找出弱点和改进区域。制定集中于特定领域如正手或反手的训练计划，并专注于取得进展。记住，提高技能需要时间和练习。保持专注，并通过持续努力，您会看到自己在网球水平上的提升！

单图像输入

您可以使用Llama 32模型设置基于视觉的推理任务，如下所示：

pythonimport requestsimport base64

def urltobase64(imageurl) # 下载图像 response = requestsget(imageurl) if responsestatuscode != 200 return None

# 将图像内容编码为base64imagebase64 = base64b64encode(responsecontent)decode(utf8)return imagebase64

让我们从开放源代码的MATHVision数据集中加载一张图像：

pythonurl = https//rawgithubusercontentcom/mathvisioncuhk/MATHV/refs/heads/main/images/13jpgimagedata = urltobase64(url)