产品简介

LLaMA Factory 是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，已经成为开源社区内最受欢迎的微调框架之一。

九章智算云已与 LLaMA Factory 深度对接，本节文档围绕在 Alaya NeW 上跑通 LLaMA Factory 的全流程展开，包含基本概念、单机/多机实验对比、存储介质选型等实战内容。

适用场景

LLaMA Factory 作为专注于大模型高效微调的框架，凭借轻量化、模块化的特性，显著降低了模型适配复杂场景的成本。常见应用包括：

• 垂直领域微调：医学、法律、金融、文化等垂直场景下的多模态大模型微调
• 任务专属优化：文本生成、分类、问答、翻译等下游任务定向优化
• 资源受限场景：通过 LoRA / QLoRA 等方法，在显存受限的卡上低成本微调
• 多模态训练：结合文本、图像、音频数据，训练多模态输入模型
• 快速定制：让 AI 开发者、研究人员、企业团队迅速产出私有 LLM

产品特点

LLaMA Factory 由北航开源，专为大型语言模型（LLMs）的微调设计。主要能力：

• 高效低成本：高效支持 100+ 模型微调，简化模型微调流程
• 零代码 WebUI：用户无需编写代码即可完成模型选择、数据准备、训练、评估、导出全链路
• 丰富数据集：内置多种数据集选项，也支持自定义 Alpaca / ShareGPT 格式数据集
• 算法多样：集成 LoRA、GaLore、DoRA 等主流微调与优化算法
• 实时监控：与 TensorBoard、WanDB、MLflow、SwanLab 等工具集成，便于训练过程观察
• 极速推理：基于 vLLM 提供 OpenAI 风格 API、浏览器界面与命令行接口