TensorFold

项目简介

TensorFold 是本地大语言模型推理引擎，以 Apache-2.0 开源项目发布。它在 Apple Silicon 和 NVIDIA GPU 上使用原生 Metal 或 CUDA 内核运行开放检查点，无需安装 Python 或 MLX 即可提供服务。项目提供 CLI 服务器、模型拉取与检查命令、OpenAI 兼容和 Anthropic API 接口，以及面向 Apple Silicon 的桌面工作区。

核心功能

• 在 Apple Silicon 和 NVIDIA GPU 上使用原生 Metal 或 CUDA 推理，在本地运行开放语言模型；由 Zig 二进制提供服务，无需安装 Python 或 MLX。
• 提供 OpenAI 兼容与 Anthropic API 接口，包括聊天补全、补全、Responses、Anthropic Messages，并通过 /v1/models 提供模型发现。
• 支持并行解码、提示复用和连接的 Mac，使草稿令牌、保留的提示和多台机器通过同一引擎协同工作。
• 提供 CLI 模型工作流：从 Hugging Face 拉取检查点、列出缓存模型、查看家族、格式、上下文和内存下限，并续传中断的下载。
• 包含面向 Apple Silicon 的桌面工作区，集成本地引擎、模型下载、硬件建议、实时生成指标、编码 worker 和文档编辑。
• 提供可选服务器能力，包括上下文压缩、Cortheon 研究模式、并行请求上限、API 密钥、指标、仪表板以及实验性的 Living Weights。

适用场景

• 使用自有 GPU 和原生 Metal 或 CUDA 加速运行开放模型，而不依赖托管推理。
• 用一个 CLI 服务器把本地检查点提供给 OpenAI 兼容或 Anthropic 风格客户端。
• 通过模型拉取和检查命令管理量化检查点，并在服务前确认硬件适配。
• 在具体模型配方支持时，跨连接的 Apple Silicon 机器或多台 NVIDIA GB10 系统运行较大模型。

快速开始

• 在 Apple Silicon 上，通过 Homebrew 安装 TensorFold，拉取受支持的检查点（例如 mlx-community/Qwen3.5-2B-MLX-4bit），再用指定名称和上下文大小启动服务。
• 在带 NVIDIA GPU 的 Linux 上，下载对应主机 CPU 的发布归档，校验 SHA-256 文件，解压后将 bin 目录加入 PATH，然后拉取并服务检查点。
• 服务器运行后，从另一终端向本地服务器发送 OpenAI 兼容聊天补全请求；API 还提供补全、Responses 和 Anthropic Messages。
• Apple Silicon 桌面工作区提供 beta DMG，也可从 app 目录构建。

部署与要求

• Mac 应用 beta 面向 Apple Silicon 和 macOS 13.3 或更高版本。
• Linux NVIDIA 部署在 GB10 上使用 linux-aarch64 归档，在 x86_64 主机上使用 linux-x86_64 归档；需要 glibc 2.28 或更高版本，以及提供 libcuda.so.1 的 NVIDIA 驱动。
• 解压后请保持 Linux 发布归档的目录结构完整。
• 除模型权重外，上下文、并行请求、提示缓存和草稿器都需要额外内存；服务大模型前可用 tensorfold info REPO 查看检查点的内存下限。
• 在带 NVIDIA GPU 的 Windows 上，文档路径是原生 Windows 构建指南，而不是现成发布归档。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。