导入模型简介
平台支持多种大模型导入方式，从FTP、对象存储等外部存储系统、HTTP方式、开源社区Hugging Face等方式下载，本地上传大模型，以及从AI Market添加的大模型，实际的物理数据文件会保存在APS集群中，如下所示：
| 模型导入方式 | 使用限制 | 说明 |
|---|---|---|
| 本地导入 | 格式：zip | 上传本地模型文件 |
| FTP | 先在数据源中与FTP地址连接 | 将FTP文件地址中的模型下载并存储 |
| 对象存储 | 先在数据源中与对象存储的服务器连接 | 将Bucket中的模型下载并存储 |
| HTTP | 先与HTTP服务器连接 | 将HTTP链接中的模型下载并存储 |
| Hugging Face | 先与Hugging Face服务器连接 | 将Hugging Face中的模型下载并存储 |
| 路径 | 先与文件管理或本地电脑路径连接 | 将文件管理或本地电脑路径中的模型下载并存储 |
| AI Market模型 | 无 | AI Market模型对所有服务可见，但只有在服务中添加后才可以进行使用 |
场景描述
将FTP的“LLM_Model”模型导入到服务“LLM Chat服务”中。
前提条件
- 先在数据源中与FTP地址连接。
操作步骤
-
在“模型仓库”主界面，选择服务“LLM Chat服务”，进入该服务主页面。
-
在页面左侧的“侧边栏”区域，选择模型管理，系统跳转到模型管理列表页面。
-
在“模型管理”列表页面，单击添加模型。
-
选择导入方式为“数据源-FTP”，输入“模型目录/文件”并测试成功。
-
单击提交，系统提示导入结果。用户可选择查看模型导入进度，或继续添加模型。如下所示：
- 单击模型列表，系统跳转到模型管理列表页面，查看模型导入状态。
后续操作
导入成功的模型将进入待审核列表，通过审核后会用于在线服务。
在完成模型导入配置后，在模型管理页面，页面右侧的任务记录处会有“运行中”+“数字”的状态提示。任务记录列表里主要包括如下三部分内容：
1) 模型名称，用于标识导入后的模型。
2) 来源，显示模型的导入方式，通过Tootip可显示模型地址或名称。
3) 导入状态，支持对任务进行终止、重试、查看操作。
[!Tip]
- 模型转换：租户采用海飞科GPU时，需先将模型进行转换，转换成功并通过审核的模型可以进行部署。