一个在 ACL 2024 发表的统一高效大模型微调框架，支持 100+ 种 LLMs 和 VLMs。它集成了多种微调方法（如 LoRA、QLoRA、全量微调）及训练算法（如 DPO、PPO），允许用户在消费级显卡上高效训练模型。提供 Web UI（LLaMA Board），极大降低了从数据准备到模型部署的门槛。
一分钟了解#
LLaMA Factory 是一个“全能型”的大模型微调工具箱，旨在让微调大模型像使用预训练模型一样简单。无论你是想构建垂直领域的聊天机器人，还是进行学术研究，它都能通过可视化界面或命令行工具帮你完成。
核心价值：它可以在有限的硬件资源（如单张消费级显卡）上微调最新、最强大的开源模型（如 Qwen3、Llama 3、DeepSeek），并提供对前沿模型的首发（Day-0）支持。
快速上手#
安装难度：低 - 支持 pip 一键安装或 Docker 部署，提供完整的示例配置文件。
# 克隆仓库并安装
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git
cd LlamaFactory
pip install -e .
适合我的场景吗？
- ✅ 想在本地微调模型：支持在 24GB 显存（甚至更低）上微调 70B 模型。
- ✅ 需要最新模型支持：提供 Qwen3、Gemma 3 等最新模型的当日适配。
- ✅ 不想写复杂代码：提供基于 Gradio 的 Web UI，通过鼠标点击即可完成训练。
- ❌ 从零预训练模型：虽然支持预训练，但主要优势在于微调。
核心能力#
1. 极广泛的模型支持 - 解决模型选型焦虑#
支持 100+ 种模型，包括 LLaMA 3/4、Qwen2/3、Mistral、DeepSeek、GLM、Phi 等，覆盖纯文本及视觉多模态模型。 实际价值：无需为不同模型适配不同代码库，一套工具通吃所有主流开源模型。
2. 资源高效利用 - 降低硬件门槛#
通过 GaLore、LoRA+、QLoRA 等先进算法，大幅降低显存占用。例如，仅需 4GB 显存即可使用 QLoRA 微调 7B 模型。 实际价值：让个人开发者和中小企业无需购买昂贵的服务器即可训练大模型。
3. 前沿技术首发跟进 - 保持技术领先#
对最新发布的模型（如 DeepSeek R1, Qwen3）通常在发布日（Day 0）或次日（Day 1）提供支持。 实际价值：帮助研究者第一时间获取最新模型的能力并进行适配。
4. 全流程工具链 - 一站式体验#
集成了数据合成、模型训练、评估、导出及 OpenAI 风格的 API 部署。 实际价值：无需在不同工具间切换，大幅提高研发效率。
技术栈与集成#
开发语言：Python 主要依赖：PyTorch, Transformers, PEFT, TRL, Gradio 集成方式：CLI (命令行工具), Web UI, Python SDK
文档与学习资源#
- 文档质量：完善（提供官方文档、博客及在线课程）
- 官方文档：https://llamafactory.readthedocs.io/
- 示例代码：丰富（
examples/目录下包含数十种场景的配置） - 在线体验：LLaMA Factory Online（无需本地环境）