自建网站服务器备案,做基础销量的网站,广州网站建设星珀,wordpress七牛云存储Unsloth 将 Llama-3、Mistral、Phi-3 和 Gemma 等大型语言模型的微调速度提高了 2 倍#xff0c;内存使用量减少了 70%#xff0c;而且准确性不会降低#xff01;
特点
通过手动派生所有计算繁重的数学步骤和手写 GPU 内核#xff0c;unsloth 可以在不更改任何硬件的情况… Unsloth 将 Llama-3、Mistral、Phi-3 和 Gemma 等大型语言模型的微调速度提高了 2 倍内存使用量减少了 70%而且准确性不会降低
特点
通过手动派生所有计算繁重的数学步骤和手写 GPU 内核unsloth 可以在不更改任何硬件的情况下神奇地使训练更快。与 Flash Attention 2 FA2 相比在单个 GPU 上快 10 倍在多个 GPU 系统上快 32 倍。我们支持从 Tesla T4 到 H100 的 NVIDIA GPU并且可以移植到 AMD 和 Intel GPU。
支持模型
可以看到主流的开源模型基本都有支持Llama、Qwen、Mistral、Gemma、Phi等等
版本
本身开源Free同样也支持企业级操作费用见下图
Google Colab支持
Unsloth 开源版本可以安装在本地或像 Google Colab 这样的其他 GPU 服务中。大多数人通过 Google Colab 界面使用 Unsloth它提供了一个免费的 GPU 来训练。
链接地址https://docs.unsloth.ai/get-started/unsloth-notebooks 开源地址https://github.com/unslothai/unsloth
可以点击里面的“start for free直接开始你的微调工作。
