跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“NVIDIA 生态”的工具

Favicon of ComfyUI

ComfyUI

Free 等级项目星标数: 138.2K

模块化节点图 AI 创作引擎

图像生成与工作流

ComfyUI 是面向视觉专业人员的模块化节点图 AI 创作引擎,可生成图像、视频、3D、音频和文本,并提供本地与云端使用方式、API、App Mode,以及能根据自然语言描述规划、构建并运行工作流的 Comfy Agent。

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of DeepSeek-V3

DeepSeek-V3

Free 等级项目星标数: 104.5K

671B 参数混合专家语言模型,每 token 激活 37B

语言模型

DeepSeek-V3 是一款混合专家(MoE)语言模型,总参数量 671B,每个 token 激活 37B 参数。它支持 128K 上下文,提供 Base 与 Chat 两个版本,开放权重可用于本地部署,也可通过 API 使用。

Favicon of nanochat

nanochat

Free 等级项目星标数: 60.1K

单张 GPU 节点上端到端训练 LLM 的极简实验框架

语言模型

nanochat 是一个极简、可修改的 LLM 训练实验框架,覆盖分词、预训练、微调、评估和推理,可在单张 GPU 节点上端到端运行,并被称为“100 美元能买到的最好的 ChatGPT”。

Favicon of FreeLLMAPI

FreeLLMAPI

Free 等级项目星标数: 48K

通过一个 OpenAI 兼容 API 聚合免费 LLM 提供商额度

模型网关与路由

FreeLLMAPI 将免费 LLM 提供商额度与自定义 OpenAI 兼容端点聚合到一个 /v1 API,并提供智能路由、自动故障转移、加密密钥和自更新目录。

Favicon of SGLang

SGLang

Free 等级项目星标数: 37.2K

高性能大语言与多模态模型服务

多模态模型

SGLang 是面向大语言模型与多模态模型的高性能服务框架,旨在为多种模型和硬件平台提供快速、可扩展的推理。

Favicon of Strata

Strata

Free 等级项目星标数: 31.2K

在自己的 PC 上运行 Qwen3.8-Flash-Next

聊天界面

Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。

Favicon of NVIDIA NemoClaw

NVIDIA NemoClaw

Free 等级项目星标数: 23K

在 NVIDIA OpenShell 沙箱中更安全地运行 AI 代理

智能体 SDK 与运行时

NVIDIA NemoClaw 是 NVIDIA 的开源参考栈,用于在 NVIDIA OpenShell 沙箱中更安全地运行受支持及仅限资格验证的 AI 代理,并提供引导式入门、托管推理、网络策略、托管集成与生命周期操作。

Favicon of SkillSpector

SkillSpector

Free 等级项目星标数: 21.8K

安装前扫描 AI 智能体技能的安全风险

安全测试与红队

SkillSpector 是面向 AI 智能体技能的安全扫描器,用于判断某个技能是否应安装。它可在安装前帮助发现 Claude Code、Codex 和 MCP 技能中的漏洞、恶意模式、提示注入、数据外泄和供应链风险。

Favicon of Surya

Surya

Free 等级项目星标数: 21.6K

OCR、版面分析、阅读顺序与表格识别

多模态模型

Surya 是 Datalab 推出的 689M 参数 OCR 模型,面向文档智能,支持 90 多种语言的 OCR、版面分析、阅读顺序与表格识别。

Favicon of OpenShell

OpenShell

Free 等级项目星标数: 17.7K

面向自主 AI 智能体的安全、私密运行时

智能体 SDK 与运行时

NVIDIA OpenShell 是开源运行时,用于在具备内核级隔离的沙箱环境中运行大量自主 AI 智能体。它结合沙箱运行时控制与声明式 YAML 策略,限制文件系统、网络、进程和凭据访问,让团队在保留智能体能力的同时避免其获得不受限制的本地文件、凭据和外部网络权限。

Favicon of FreeToken

FreeToken

Free 等级项目星标数: 15.1K

在桌面端提供数据中心级 MoE 模型服务

边缘与端侧推理

FreeToken 是边缘原生混合专家(MoE)服务引擎,可在个人与消费级硬件上本地运行前沿规模开放权重模型,将 GPU、CPU、主机内存与互连视为统一弹性推理平台,并提供带宽自适应 CPU–GPU 协同执行与 Anthropic/OpenAI 兼容 API。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。

Favicon of LMCache

LMCache

Free 等级项目星标数: 12.3K

面向可扩展 LLM 推理的 KV 缓存管理层

上下文管理

LMCache 是面向 LLM 推理的开源 KV 缓存管理层,可在 GPU、CPU、本地存储和外部后端之间存储、压缩、搜索并复用 KV 缓存,减少重复预填充并降低首 token 延迟。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of OpenWhispr

OpenWhispr

Free 等级项目星标数: 9.6K

隐私优先的语音转文字与会议笔记

个人与桌面助手

OpenWhispr 是开源、隐私优先的语音转文字听写应用,支持本地 Whisper/NVIDIA Parakeet 模型或通过自带 API 密钥使用云模型,并可跨平台使用。

Favicon of DeepInfer

DeepInfer

Free 等级项目星标数: 7.9K

面向 DeepSeek 模型的高性能大规模推理框架

推理服务与 API

DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

Favicon of llm-d

llm-d

Free 等级项目星标数: 4.9K

Kubernetes 原生分布式 LLM 推理栈

模型网关与路由

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。

Favicon of CUDA Rust

CUDA Rust

Free 等级项目星标数: 3.9K

NVIDIA 面向 Rust 的 CUDA 平台

流水线、部署与计算

CUDA Rust 是 NVIDIA 面向 Rust 的 CUDA 平台,提供用于 CUDA 驱动的宿主端运行时 crate,以及用惯用 Rust 编写 GPU 内核的设备端 crate 和工具,支持 SIMT 与 Tile 两种内核编程模型。

Favicon of Auto Ontology

Auto Ontology

Free 等级项目星标数: 3K

面向可信智能体分析的语义图推理层

数据分析与商业智能

Auto Ontology 是一个 Python 框架,用于在数据之上构建语义化、基于图的推理层,支持确定性查询生成、更好的上下文检索,并提升 LLM 与 agent 工作流的可解释性。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

Favicon of CorridorKey 2.0

CorridorKey 2.0

Free 等级项目星标数: 1.1K

一键完成绿幕与蓝幕抠像

视频编辑与动画

CorridorKey 2.0 是一款可在本地 VFX/剪辑软件中运行的一键绿幕与蓝幕抠像工具,提供 Resolve、Nuke、After Effects、Premiere 和 Blender 插件;一次购买即可获得全部插件,无需订阅,并附带独立应用。

OpenFree logo

vork

Free 等级项目星标数: 1K

为智能体打造的无头 3D 与 VFX 引擎

智能体 SDK 与运行时

vork 是面向智能体的无头 3D 与 VFX 引擎。智能体以代码编写场景、渲染、查看结果并修改代码。它用 Rust 和 Slang 编写,通过 Vulkan 和 Metal 在 GPU 上渲染;研究预览期间以源代码可用且免费方式提供。

Favicon of NVIDIA Kubernetes Engine

NVIDIA Kubernetes Engine

Free 等级项目星标数: 0.6K

面向 NVIDIA GPU 基础设施的托管 Kubernetes

流水线、部署与计算

NVIDIA Kubernetes Engine(NVKE)是面向 AI 工厂的开源软件,用于在自有 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务。它通过 API 创建集群,负责节点配置、集群组建,以及节点池扩缩容、Kubernetes 升级、节点替换和证书续期。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告