想要训练或微调开源模型？ 还没有听说过LLaMA-Factory的注意了，这个已经在Github上收获了5w+星的开源工具一定不能错过。 LLaMA-Factory让你告别繁琐的代码编写，只需通过一个直观清晰的界面，就能直接微调100+款热门模型，包括LLaMA、Mistral、Qwen、DeepSeek等【图1】 除了操作简便，LLaMA-Factory还集成了众多强大且实用的功能： 丰富训练方法：支持（持续）预训练、（多模态）监督微调、奖励建模，以及PPO、DPO、KTO、ORPO等。 灵活资源拓展：提供16位全参数微调、冻结微调、LoRA等多种微调方式。更支持基于AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ的2/3/4/5/6/8位QLoRA量化训练，大幅节省计算资源。 前沿算法集成：囊括GaLore、BAdam、APOLLO、Adam-mini、Muon、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ、PiSSA等最新算法，助你模型效果更上一层楼。 实用技巧加持：内置FlashAttention-2、Unsloth、Liger Kernel、RoPE缩放、NEFTune、rsLoRA等高效实用技巧，让训练更顺畅。 广泛任务支持：不仅支持多轮对话、工具调用等基础任务，还能处理图像理解、视觉定位、视频识别、音频理解等多模态任务。 全链路实验监控：无缝集成LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab等主流实验监控工具，实时掌握训练进展。 高效推理部署：提供OpenAI风格API、Gradio交互界面、CLI支持，并集成vLLM或SGLang推理加速引擎，确保模型部署与推理高效便捷。 了解了这些强大功能，是不是已经迫不及待想要上手一试了？立即访问代码仓库：github.com/hiyouga/LLaMA-Factory
