unsloth – 开源的大语言模型微调工具

unsloth 是开源的大语言模型（LLM）微调工具，基于优化计算步骤和 GPU 内核，显著提升模型训练速度减少内存使用。Unsloth支持多种主流 LLM，如 Llama-3、Mistral、Phi-4 等，在单 GPU 上实现最高 10 倍、多 GPU 上最高 32 倍的加速效果，同时内存使用减少 70% 以上。

新闻资讯 2026-06-02 PPISO

2 0

文章摘要

unsloth是什么

unsloth 是开源的大语言模型（LLM）微调工具，基于优化计算步骤和 GPU 内核，显著提升模型训练速度减少内存使用。Unsloth支持多种主流 LLM，如 Llama-3、Mistral、Phi-4 等，在单 GPU 上实现最高 10 倍、多 GPU 上最高 32 倍的加速效果，同时内存使用减少 70% 以上。unsloth 提供免费的开源版本，用户能在 Google Colab 或 Kaggle Notebooks 上快速体验。

unsloth的主要功能

高效微调（Fine-Tuning）：
- 加速训练：基于优化计算步骤和手写 GPU 内核，在单 GPU 上可实现比传统方法快 10 倍的训练速度，在多 GPU 系统上速度提升可达 32 倍。
- 内存优化：在微调过程中，将内存使用量减少 70% 甚至更多，在有限的硬件资源下训练更大的模型。
- 支持多种模型：支持多种流行的大型语言模型（LLM），如 Llama-3、Mistral、Phi-4、Qwen 2.5 和 Gemma 等。
动态量化：引入动态 4 位量化技术，在不显著增加显存使用的情况下，提高模型的准确性和性能。
长上下文支持：支持长上下文训练，例如在 Llama 3.3（70B）模型上，在 80GB 的 GPU 上实现长达 89K 的上下文长度，远超传统方法。
多平台兼容：支持 Linux 和 Windows（通过 WSL）操作系统，且与 Hugging Face 的 TRL、Trainer 等工具无缝集成。

unsloth的技术原理

手动优化计算步骤：手动推导和优化计算密集型的数学步骤，减少不必要的计算开销。例如，在神经网络的反向传播过程中，基于自定义的高效实现，避免传统框架中存在的冗余计算。
手写 GPU 内核：用 OpenAI 的 Triton 语言编写专门的 GPU 内核，内核针对特定的计算任务进行高度优化。基于这种方式，充分用 GPU 的并行计算能力，显著提升训练和推理的速度。
动态量化：引入动态量化技术，特别是在 4 位量化方面进行优化。动态量化根据模型的实际需求，动态地选择是否对某些参数进行量化，在不显著增加显存使用的情况下，提高模型的准确性和性能。