跳到主要内容

模型管理

模型管理简介​

模型管理是集中管理训练任务生成模型、外部导入模型和平台预置模型的中央仓库，用户既可以将训练生成的大模型存储在模型管理，也可以将模型管理的模型作为基础模型进行微调训练。模型管理支持纳管外部模型，包括从FTP、对象存储等外部存储系统导入模型、以及通过对象存储、本地路径导入的企业存储下的模型。 模型管理下的模型，支持将模型发布至推理平台，推理平台可以将模型进行部署和上线，从而对外提供服务。发布模型功能仅在用户同时部署训练平台和推理平台时支持。

模型来源：

模型来源使用说明
任务训练任务生成的模型结果
FTP需要FTP地址、用户名和密码
对象存储需要对象存储地址、Bucket名称、AccessKey、AccessKeySecret
超链接需要超链接地址
本地路径文件管理路径和本地服务器存储路径
AI市场AI市场中预置的大模型

从任务下添加模型​

已运行成功的workshop任务会生成模型，任务管理下可将任务生成的模型添加至模型列表。

  1. 在左侧目录中选择模型管理，进入模型列表，点击添加模型按钮，在任务页签下，选择workshop任务后，为模型设定名称及简介。

    image

  2. 添加模型成功后可在模型列表下查看已添加的模型。

    image

添加远端/本地模型​

模型管理下支持添加本地模型和通过FTP、对象存储、超链接的方式添加远端模型，其中本地路径支持上传企业文件存储下的模型，添加远端/本地模型会通过任务方式完成添加，以FTP为例：

  1. 在左侧目录中选择模型管理，进入模型列表，点击添加模型按钮，选择FTP页签，下载远端FTP的模型。

    image

从FTP下载远端模型，需要设置以下参数：

  • FTP地址：FTP的访问地址
  • 用户名:FTP访问用户名
  • 密码:FTP用户密码
  • 模型目录/文件:模型文件在FTP地址下模型所在具体目录/文件
  • 模型名称:模型名称
  • 简介:模型简介
  • lora:表示模型的权重是否lora权重
  • 基础模型:当模型为lora权重的时候需要选择相应的权重

  1. 提交后可以在任务管理的添加模型页签下查看模型添加进程。

    image

  2. 任务运行成功后可在模型列表下查看已添加的模型。

从AI市场下添加模型​

AI Market预置了基础大模型，模型管理可从AI市场-模型下添加至项目。

  1. 在左侧目录中选择模型管理，进入模型列表，点击添加模型按钮，选择AI市场页签，选择AI市场-模型中的大模型，并为模型设定名称及简介。

    image

  2. 提交后可以在任务管理的添加模型页签下查看模型添加进程。

  3. 任务运行成功后可在模型列表下查看已添加的模型。

查看模型详情​

  1. 在左侧目录中选择模型管理，进入模型列表。

    image

  2. 点击模型名称可查看模型基本信息和模型文件等信息。

    image

模型发布​

对于模型存档中的模型，支持将模型发布到推理平台。推理平台可以将模型进行部署和上线，从而对外提供服务。发布模型功能仅在用户同时部署训练平台和推理平台时支持。

  1. 在左侧目录中选择模型管理，进入模型列表，选择要发布的模型，点击更多 > 发布。

    image

  2. 选择推理租户及服务后提交，完成发布。

    image

  3. 提交后可以在任务管理的发布模型页签下查看模型发布进程。

    image