跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“CUDA”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of DeepSeek-V3

DeepSeek-V3

Free 等级项目星标数: 104.5K

671B 参数混合专家语言模型,每 token 激活 37B

语言模型

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。

Favicon of vLLM

vLLM

Free 等级项目星标数: 94.2K

面向所有人,简单、快速且经济高效的 LLM 服务。

推理服务与 API

vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。

Favicon of nanochat

nanochat

Free 等级项目星标数: 60.1K

单张 GPU 节点上端到端训练 LLM 的极简实验框架

语言模型

nanochat 是一个极简、可修改的 LLM 训练实验框架,覆盖分词、预训练、微调、评估和推理,可在单张 GPU 节点上端到端运行,并被称为“100 美元能买到的最好的 ChatGPT”。

Favicon of whisper.cpp

whisper.cpp

Free 等级项目星标数: 53.9K

OpenAI Whisper 模型的高性能 C/C++ 推理实现

转录与听写

whisper.cpp 是 OpenAI Whisper 自动语音识别模型的 C/C++ 移植版,以无依赖、高性能推理为目标,支持 CPU 以及 Apple Silicon、NVIDIA、AMD、Vulkan、OpenVINO、Ascend NPU、Moore Threads 等多种硬件加速后端。

Favicon of Colibri

Colibri

Free 等级项目星标数: 46.7K

小巧引擎,驱动巨型模型

本地模型运行器

Colibri 是一个开源分层推理引擎,可让大语言模型适配本机硬件,协调 CPU、GPU、内存与存储,并按需从磁盘流式读取混合专家权重。

Favicon of VoxCPM

VoxCPM

Free 等级项目星标数: 39.9K

富有表现力的多语言文本转语音

语音与声音生成

VoxCPM 是一款无需分词器的文本转语音系统,面向多语言语音生成、创意音色设计、可控声音克隆与 48kHz 高保真音频输出,基于扩散自回归架构。

Favicon of llmfit

llmfit

Free 等级项目星标数: 38.5K

一条命令找出适合你硬件的模型。

评测与基准

llmfit 会检测 CPU、内存、GPU、显存和加速器配置,并按适配度、速度、质量和上下文对数百个开源大模型及不同量化版本进行排序,帮助你判断哪些模型能在本机良好运行。

Favicon of SGLang

SGLang

Free 等级项目星标数: 37.2K

高性能大语言与多模态模型服务

多模态模型

SGLang 是面向大语言模型与多模态模型的高性能服务框架,旨在为多种模型和硬件平台提供快速、可扩展的推理。

Favicon of DwarfStar

DwarfStar

Free 等级项目星标数: 24K

面向消费级硬件的精选大模型本地推理引擎

推理服务与 API

DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。

Favicon of 腾讯混元3D

腾讯混元3D

Free 等级项目星标数: 15K

一站式3D内容AI创作平台

3D 生成与设计

腾讯混元3D是一站式3D内容AI创作平台,基于腾讯混元3D生成大模型2.5版本,支持文生3D、图生3D、3D动画生成、纹理生成、草图生3D和3D人物生成,并具备低多边形模型生成优势。它面向高分辨率带纹理3D资产生成,提供从形状生成到纹理合成的创作流程。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。

Favicon of LMCache

LMCache

Free 等级项目星标数: 12.3K

面向可扩展 LLM 推理的 KV 缓存管理层

上下文管理

LMCache 是面向 LLM 推理的开源 KV 缓存管理层,可在 GPU、CPU、本地存储和外部后端之间存储、压缩、搜索并复用 KV 缓存,减少重复预填充并降低首 token 延迟。

Favicon of Kornia

Kornia

Free 等级项目星标数: 11.6K

面向 PyTorch 的可微分计算机视觉库

图像编辑与增强

Kornia 是构建于 PyTorch 的可微分计算机视觉库,提供覆盖几何、特征匹配、滤波、颜色、增强、损失与预训练模型的 1,200 多个算子,支持批处理与设备无关执行,服务于研究与机器人实时感知。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of Kev

Kev

Free 等级项目星标数: 9.6K

可自行训练和运行的小型 Jev 式决策模型。

语言模型

Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。

Favicon of DeepInfer

DeepInfer

Free 等级项目星标数: 7.9K

面向 DeepSeek 模型的高性能大规模推理框架

推理服务与 API

DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

Favicon of CUDA Rust

CUDA Rust

Free 等级项目星标数: 3.9K

NVIDIA 面向 Rust 的 CUDA 平台

流水线、部署与计算

CUDA Rust 是 NVIDIA 面向 Rust 的 CUDA 平台,提供用于 CUDA 驱动的宿主端运行时 crate,以及用惯用 Rust 编写 GPU 内核的设备端 crate 和工具,支持 SIMT 与 Tile 两种内核编程模型。

Favicon of ATLAS

ATLAS

Free 等级项目星标数: 2.1K

面向紧凑开源模型的本地编码代理

编程助手与编辑器

ATLAS 是 Inferstep 的本地编码代理;Inferstep 是一家挑战行业规模假设的开放实验室。ATLAS 在紧凑开源模型周围加入规划、候选生成、质量评分、沙箱测试与修复,让真实软件工作可在本地硬件完成,无需托管 API 或按 token 付费。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

Favicon of neuron-explorer

neuron-explorer

Free 等级项目星标数: 1.3K

面向 Qwen3.5-4B 的 steering 优先神经元探索器

语言模型

neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器:对某一层的每个 MLP 神经元在少量提示上做正向与负向推动,保留每次 rollout,并把结果铺展到模型的 3D 视图中,便于浏览地图、列表、神经元、嵌入和 Claude 对话面板。

Favicon of CorridorKey 2.0

CorridorKey 2.0

Free 等级项目星标数: 1.1K

一键完成绿幕与蓝幕抠像

视频编辑与动画

CorridorKey 2.0 是一款可在本地 VFX/剪辑软件中运行的一键绿幕与蓝幕抠像工具,提供 Resolve、Nuke、After Effects、Premiere 和 Blender 插件;一次购买即可获得全部插件,无需订阅,并附带独立应用。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告