FreeToken

项目简介

FreeToken 是边缘原生混合专家（MoE）服务引擎，旨在个人和消费级硬件上运行前沿规模开放权重模型，例如在游戏 PC 上以交互速度本地运行 290B+ 前沿 MoE 模型。它把 GPU、CPU、主机内存和互连等异构边缘资源视为统一、弹性的推理平台。

核心功能

• 提供快速的边缘原生 MoE 运行时，包括带宽自适应 CPU–GPU 协同执行、全层双缓冲预填充流式处理、全局 LRU 专家缓存、图兼容执行和 FTW 快速权重格式。
• 支持语义感知缓存，为循环状态和 KV 缓存提供语义锚点检查点，使工具调用、思考块等代理式上下文编辑避免重复上下文重算。
• 支持弹性内存管理，可在运行时动态重新分配显存用于专家缓存和 KV 内存，无需重启引擎或重新加载权重。
• 支持前沿开放权重 MoE 模型（如 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2），覆盖多种参数规模和 MXFP4、NVFP4、FP8、BF16 等量化格式。
• 提供 Anthropic/OpenAI 兼容 API，可与 Codex、Claude Code、OpenCode、OpenClaw、DeepSeek Harness 等编程与工具调用代理集成。
• 可在消费级笔记本、游戏台式机和工作站 GPU 上扩展，原生支持 NVIDIA RTX 30、RTX 40 和 RTX 50 系列 GPU。

适用场景

• 在游戏 PC 和消费级台式机上本地运行前沿规模开放权重 MoE 模型。
• 通过 Anthropic/OpenAI 兼容 API 为编程和工具调用代理提供模型服务。
• 使用桌面 GUI 运行模型、聊天并调优引擎。
• 在 GPU、CPU 和主机内存等异构边缘资源上试验本地模型服务。

快速开始

• 从项目网站下载 Windows 或 Linux 桌面应用；它会自动设置引擎，并提供用于运行模型、聊天和调优引擎的 GUI。
• 使用 uv（推荐）或 pip 安装 CLI：uv pip install "freetoken[accel]"。
• 也可从源码构建：克隆仓库，创建并激活 uv 虚拟环境，然后运行 uv pip install -e ".[accel]"。

部署与要求

• 桌面应用可用于 Windows 或 Linux。
• CLI 安装支持 uv（推荐）或 pip，也支持从源码构建。
• 原生 GPU 支持面向 NVIDIA RTX 30、RTX 40 和 RTX 50 系列。
• 面向消费级笔记本、游戏台式机和工作站 GPU。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。