llmfit

项目简介

llmfit 是面向终端的工具，用于将本地大语言模型与机器的 CPU、系统内存、独立或集成 GPU、显存和统一内存配置进行匹配。它会检查硬件，按内存适配、预估速度、质量和上下文对目录中的模型评分，并通过交互式 TUI、经典 CLI、Web 仪表板或 HTTP API 给出推荐。

核心功能

• 自动检测 CPU 核心、系统内存、独立/集成 GPU、显存和统一内存，覆盖 NVIDIA CUDA、Apple Silicon、AMD ROCm 和 Intel OneAPI；针对参数量、上下文长度以及 GGUF、AWQ、GPTQ、EXL2 等量化格式进行兼容性评分，并给出预计内存占用和每秒 token 估算；提供交互式 TUI 和 Web 仪表板，可浏览、筛选、规划、模拟硬件、下载和运行基准测试；提供 /api/v1/system 和 /api/v1/models REST API 端点，便于接入编排器、仪表板和自动化部署流水线；支持多

适用场景

• 在下载模型前，判断哪个本地 LLM 和量化版本适合笔记本电脑、工作站或多 GPU 系统；为一组可运行模型估算存储需求并检查硬件适配情况，辅助部署规划；将 JSON 推荐结果提供给脚本、代理或编排器，用来自动选择模型；在本地运行时上测量真实每秒 token 和 TTFT，并与社区分享结果。

快速开始

• 在 macOS 或 Linux 上使用 Homebrew 安装：brew install AlexsJones/llmfit/llmfit；Windows 可使用 winget install --exact --id AlexsJones.llmfit 或 scoop install llmfit。也可用 uv 安装：uv tool install -U llmfit，或用 uvx llmfit 直接运行。运行 llmfit 启动交互式 TUI，也可使用 llmfit recommend --json、llmfit fit、llmfit

部署与要求

• 可在 macOS（Apple Silicon 和 Intel）、Linux（x86_64 和 ARM64）以及 Windows（x86_64）上运行。多架构 Docker 镜像位于 ghcr.io/alexsjones/llmfit，支持交互式 CLI/TUI 和无头 Web UI/API 服务器模式。可通过 llmfit serve --host 0.0.0.0 --port 8787 启动 API 和 Web 服务器。从源码构建时使用 git clone、cd llmfit 和 cargo build --release；二进制文件位于

采用前须知

• 许可证：MIT。在使用、修改或分发项目前，请确认其具体条款。