跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“大语言模型”的工具

Favicon of RocketRide

RocketRide

Free 等级项目星标数: 18.8K

开源 AI 流水线引擎,面向 LLM 工作流

智能体框架

RocketRide 是开源 AI 流水线引擎,采用 C++ 内核与可扩展的 Python 节点,可在 IDE 中构建、调试、观测和部署 LLM 工作流与多智能体编排,并提供 TypeScript、Python SDK 与 Docker 部署方式。

Favicon of LMCache

LMCache

Free 等级项目星标数: 12.3K

面向可扩展 LLM 推理的 KV 缓存管理层

上下文管理

LMCache 是面向 LLM 推理的开源 KV 缓存管理层,可在 GPU、CPU、本地存储和外部后端之间存储、压缩、搜索并复用 KV 缓存,减少重复预填充并降低首 token 延迟。

Favicon of GhidraMCP

GhidraMCP

Free 等级项目星标数: 11.7K

面向 Ghidra 的 MCP 服务器

MCP 服务与工具连接器

GhidraMCP 是面向 Ghidra 的模型上下文协议服务器,把核心 Ghidra 能力以工具形式暴露给 MCP 客户端,让 LLM 可自动反编译和分析二进制、重命名方法与数据,并列出方法、类、导入和导出。

Favicon of OpenUI

OpenUI

Free 等级项目星标数: 11.4K

面向生成式 UI 的开放标准

应用与界面生成

OpenUI 是面向生成式 UI 的开放标准,让 AI 应用与智能体以交互式 UI、图表、表格、表单和仪表板进行响应。它使用 OpenUI Lang 这一紧凑、流式优先的语言,LLM 可基于你自己的组件构建界面。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

Favicon of InkOS

InkOS

Free 等级项目星标数: 10.9K

面向小说、剧本与互动影游的故事创作智能体

智能体框架

InkOS 是面向小说、剧本、翻译、互动影游与 IP 内容的故事创作 AI Agent,支持在 Studio、TUI 和 CLI 中统一管理设定、角色、记忆、审稿与修订。

Favicon of Kev

Kev

Free 等级项目星标数: 9.6K

可自行训练和运行的小型 Jev 式决策模型。

语言模型

Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。

Favicon of DeepInfer

DeepInfer

Free 等级项目星标数: 7.9K

面向 DeepSeek 模型的高性能大规模推理框架

推理服务与 API

DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

Favicon of agentgateway

agentgateway

Free 等级项目星标数: 5.8K

统一服务、LLM 与 MCP 流量的高性能网关

MCP 服务与工具连接器

开源 HTTP 和 gRPC 网关,在单一数据平面中统一传统应用流量与 AI 原生协议,可对服务、LLM 提供商流量、MCP 工具和智能体间通信进行路由、安全、可观测与治理,无需拼接多个网关。

Favicon of Harbor

Harbor

Free 等级项目星标数: 5.6K

评估并优化沙箱化智能体与模型。

智能体框架

Harbor 是由 Terminal-Bench 创作者推出的框架,用于在容器环境中指定沙箱化智能体任务,以评估和优化智能体与语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等任意智能体,构建和分享基准与环境,通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake 和 Runta 等提供方并行开展数千个环境的实验,并生成用于 RL 优化的 rollout。

Favicon of llm-d

llm-d

Free 等级项目星标数: 4.9K

Kubernetes 原生分布式 LLM 推理栈

模型网关与路由

llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。

Favicon of AiSOC

AiSOC

Free 等级项目星标数: 4.4K

开源自托管的 AI 安全运营中心

MCP 服务与工具连接器

AiSOC 是开源、可自托管的 AI 安全运营中心,支持告警融合、LLM 代理研判、MITRE ATT&CK 调查与人工批准响应。代理决策写入调查账本并可回放,公开评测工具在 CI 中运行,提供 MCP 服务器,采用 MIT 许可证,无需 API 密钥。

Favicon of 文译(Wenyi)

文译(Wenyi)

Free 等级项目星标数: 2.8K

以整本书的上下文,把文学作品带到你的语言中。

写作与知识工作

文译(Wenyi)是一款用于翻译书籍和长篇文本的桌面应用,结合整本书理解、术语一致性和基于证据的审校,帮助作品跨越语言。

Favicon of billion-context

billion-context

Free 等级项目星标数: 1.7K

面向长时间编码会话的上下文压缩插件

上下文管理

billion-context 是一款上下文压缩插件,让智能体在小上下文窗口(10 万上下文即可)下工作,token 用量约为原来的五分之一,并能支撑持续数月、累计数十亿 token 的单次会话。

Favicon of TensorFold

TensorFold

Free 等级项目星标数: 1.5K

面向 Metal 与 CUDA 的原生本地 LLM 推理

边缘与端侧推理

TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。

Favicon of neuron-explorer

neuron-explorer

Free 等级项目星标数: 1.3K

面向 Qwen3.5-4B 的 steering 优先神经元探索器

语言模型

neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器:对某一层的每个 MLP 神经元在少量提示上做正向与负向推动,保留每次 rollout,并把结果铺展到模型的 3D 视图中,便于浏览地图、列表、神经元、嵌入和 Claude 对话面板。

OpenFree logo

Sand3D

Free 等级项目星标数: 1.2K

面向 LLM 的 Python 3D 建模

数据集、标注与数据质量

Sand3D 是一个开源的三维代码库与数据集,其中的三维对象使用面向 LLM 的 Sand3D 语言编写。每个对象对应一个 Python 程序,描述各部件、形状、孔洞、位置和材质,也包含参数化机械 CAD 零件与可供 Blender、three.js 和 glTF 引擎使用的网格。

Favicon of ZeroLeaks

ZeroLeaks

Free 等级项目星标数: 0.7K

面向 AI 智能体的持续红队测试

安全测试与红队

ZeroLeaks 提供面向 AI 智能体与 LLM 提示词的安全测试。托管服务在每次变更时通过工具、记忆、凭据和关联智能体对智能体进行持续红队测试;源代码可用的 CLI 与 TypeScript 库用于测试独立系统提示词的提示注入与提取风险。

Favicon of Hy-Memory

Hy-Memory

Free 等级项目星标数: 0.3K

面向自演化 LLM 智能体的双系统认知记忆引擎。

智能体记忆

生产级双系统认知记忆引擎与 Python SDK,面向自演化 LLM 智能体,提供 Chat、Working 与 Coding 专用记忆流水线,并包含 MemHub 以支持本地优先的跨应用记忆召回。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告