Unsloth

项目简介

Unsloth是一个开源框架，用于运行和训练LLM。它允许您通过开源UI在本地硬件上运行和训练AI模型。支持macOS、Linux、Windows、NVIDIA、AMD、Intel和CPU环境。

核心功能

• 运行和训练LLM、扩散、嵌入、音频模型：Qwen3.8、Kimi K3、MiniMax-H3、Muse Glimmer、DeepSeek-V4、Gemma 4。
• 代理与工具：将本地模型与Claude Code、Codex和MCP配合使用，包括工具调用和代码执行。
• 搜索与RAG：使用私密且无限制的网页搜索、深度研究、自动压缩（滚动上下文窗口）和RAG。
• 远程与局域网：通过安全的Cloudflare HTTPS，从局域网或远程的任何设备访问本地模型。
• 微调：以2倍速度、减少70%显存且无精度损失地训练LLM、扩散、TTS和嵌入模型。
• 导出与部署：导出或部署模型，支持GGUF、NVFP4、FP8等格式。

适用场景

• 在本地运行和训练模型，用于个人或研究用途。
• 将本地模型连接到Claude Code和Codex等编码代理。
• 使用私密网页搜索和RAG进行深度研究。
• 以更低的显存占用微调模型以完成特定任务。

快速开始

• 从Unsloth网站或GitHub Releases下载适用于macOS、Windows或Linux的原生桌面应用。
• 或者手动安装：在macOS、Linux或WSL上运行`curl -fsSL https://unsloth\.ai/install\.sh | sh`；在Windows PowerShell上运行`irm https://unsloth\.ai/install\.ps1 | iex`。
• 还提供Docker镜像`unsloth/unsloth`。

部署与要求

• 支持macOS、Linux、Windows、NVIDIA、AMD、Intel和CPU环境。
• 支持多GPU设置、NVIDIA、AMD、Intel GPU、CPU和Vulkan后端。
• 对于Docker，在Linux上可能需要设置GPU访问。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。