跳到主要内容

产品介绍

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架之一。

alt text

使用场景​

LlamaFactory 作为专注于大模型高效微调的框架，在多模态任务中通过其轻量化、模块化的特性，显著降低了模型适配复杂场景的成本，适用于各种场景，包括但不限于：

  • 在医学、法律、金融、文化等垂直领域上，使用 LLaMA-Factory 微调基础多模态大模型，提升多模态大模型在特定任务上的表现。
  • 针对特定任务优化模型，如文本生成、分类、问答、翻译等。
  • 在资源有限的场景下，使用LoRA、QLoRA等方法低成本微调模型，无需调整全部参数。
  • 结合文本与图像/音频数据，训练支持多模态输入的模型。
  • 方便AI开发者、研究人员、企业技术团队，快速定制化LLM。

产品特点​

LLaMA-Factory 是一个国内北航开源的低代码大模型训练框架，专为大型语言模型（LLMs）的微调而设计。其主要功能特点包括：

  • 高效且低成本：能够高效且低成本地支持对100多个模型进行微调，简化了模型微调的过程。
  • 易于访问和使用：提供了友好的用户界面，用户无需编写代码即可轻松定制和微调LLMs。
  • 丰富的数据集选项：支持多个数据集选项，用户可以选择自带的数据集或自己生成数据集进行微调。
  • 多样化的算法支持：集成了业界最广泛使用的微调方法和优化技术，如LoRA、GaLore、DoRA等。
  • 实时监控和评估：支持集成TensorBoard、VanDB和MLflow等监控工具，便于实时监控训练过程和评估模型性能。
  • 极速推理：提供了基于vLLM的OpenAI风格API、浏览器界面和命令行接口，实现快速推理。