云容器实例开启微调

LLaMA Factory 是开源低代码大模型微调框架，集成了业界主流的微调技术。本实践演示如何在 Alaya NeW 云容器实例中部署 LLaMA Factory，并对 llama3-8b-instruct 做基于 LoRA 的 SFT 指令微调。

前提条件

单击新建云容器实例，进入云容器实例开通页面，配置实例名称，实例描述，智算中心等参数。本示例中按如下要求配置各项参数。其中：

配置参数	参数说明	配置要求	是否必须
实例名称	指定云容器的标识符，用于在系统中唯一识别该云容器。	字母开头，支持字母、数字、连字符(-)、下划线(_)，长度应为4-20字符。	是
实例描述	云容器的功能、用途、配置等信息进行简要说明的文字描述。	无。	-
智算中心	用于支持云容器实例服务的数据中心。	选择可用的数据中心，例如：北京三区、北京五区等。	是
付费方式	使用数据中心资源的计费方式。	选择系统目前支持的计费方式，当前为按量计费。	是
资源配置	详细列出算力中心的资源规格，包括资源类型、GPU型号、计算资源规格、磁盘配置等。	选择满足所需的资源。	是
存储配置	可以选择云容器实例中的挂载NAS型存储。	选择需要挂载NAS型存储。	否
镜像	支持公共镜像（包括基础镜像和应用镜像）和私有镜像，可根据需要选择镜像类型。	-	是
其他配置	支持配置环境变量的建和值，同时支持开启云容器实例的自动关机和自动释放。	-	否

云容器实例参数配置完成后，单击立即开通按钮，然后在弹出的对话框中确认已配置的参数，确认无误后单击确定，即可完成云容器实例开通操作。

您可以在计算/云容器实例页面查看已创建的云容器实例，当云容器实例状态为“运行中”时，表示云容器实例创建成功且可正常使用。

在终端中执行：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

在云容器实例/容器列表页签找到目标云容器实例，单击右侧的web连接图标。
在 /LLaMA-Factory目录下执行如下命令，启动LLaMA Factory WebUI。
```
cd /app
GRADIO_SERVER_PORT=9001 llamafactory-cli webui
```
启动成功的输出大致如下：
在容器列表中，点击右侧 开放端口 图标，获取 9001 端口对应的外部地址。

a. 在云容器实例/容器列表页签找到目标云容器实例，单击右侧的开放端口图标。

b. 在弹出的对话框中复制 9001 端口对应的地址。
把外部地址粘贴到浏览器，即可打开 LLaMA Factory Webui，在界面中完成模型选择、数据集准备、LoRA 微调等流程。