触达更多潜在用户,助力产品增长与收益提升。
投放广告标记为“大语言模型”的工具
RocketRide
Free 等级项目星标数: 18.8K开源 AI 流水线引擎,面向 LLM 工作流
RocketRide 是开源 AI 流水线引擎,采用 C++ 内核与可扩展的 Python 节点,可在 IDE 中构建、调试、观测和部署 LLM 工作流与多智能体编排,并提供 TypeScript、Python SDK 与 Docker 部署方式。
LMCache
Free 等级项目星标数: 12.3K面向可扩展 LLM 推理的 KV 缓存管理层
LMCache 是面向 LLM 推理的开源 KV 缓存管理层,可在 GPU、CPU、本地存储和外部后端之间存储、压缩、搜索并复用 KV 缓存,减少重复预填充并降低首 token 延迟。
GhidraMCP
Free 等级项目星标数: 11.7K面向 Ghidra 的 MCP 服务器
GhidraMCP 是面向 Ghidra 的模型上下文协议服务器,把核心 Ghidra 能力以工具形式暴露给 MCP 客户端,让 LLM 可自动反编译和分析二进制、重命名方法与数据,并列出方法、类、导入和导出。
OpenUI
Free 等级项目星标数: 11.4K面向生成式 UI 的开放标准
OpenUI 是面向生成式 UI 的开放标准,让 AI 应用与智能体以交互式 UI、图表、表格、表单和仪表板进行响应。它使用 OpenUI Lang 这一紧凑、流式优先的语言,LLM 可基于你自己的组件构建界面。
Edge0
Free 等级项目星标数: 11K面向端侧 AI 的设备原生基础模型
Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。
InkOS
Free 等级项目星标数: 10.9K面向小说、剧本与互动影游的故事创作智能体
InkOS 是面向小说、剧本、翻译、互动影游与 IP 内容的故事创作 AI Agent,支持在 Studio、TUI 和 CLI 中统一管理设定、角色、记忆、审稿与修订。
Kev
Free 等级项目星标数: 9.6K可自行训练和运行的小型 Jev 式决策模型。
Kev 是建立在 Qwen3.5 和 Qwen3.8 之上的小型决策模型家族,基于 Jev 架构。可使用预训练权重或自行训练,并在一次请求中处理是/否、多选和评分问题。
DeepInfer
Free 等级项目星标数: 7.9K面向 DeepSeek 模型的高性能大规模推理框架
DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。
agentgateway
Free 等级项目星标数: 5.8K统一服务、LLM 与 MCP 流量的高性能网关
开源 HTTP 和 gRPC 网关,在单一数据平面中统一传统应用流量与 AI 原生协议,可对服务、LLM 提供商流量、MCP 工具和智能体间通信进行路由、安全、可观测与治理,无需拼接多个网关。
Harbor
Free 等级项目星标数: 5.6K评估并优化沙箱化智能体与模型。
Harbor 是由 Terminal-Bench 创作者推出的框架,用于在容器环境中指定沙箱化智能体任务,以评估和优化智能体与语言模型。它支持评估 Claude Code、OpenHands、Codex CLI 等任意智能体,构建和分享基准与环境,通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake 和 Runta 等提供方并行开展数千个环境的实验,并生成用于 RL 优化的 rollout。
llm-d
Free 等级项目星标数: 4.9KKubernetes 原生分布式 LLM 推理栈
llm-d 是一个开源、Kubernetes 原生的分布式 LLM 推理栈。它可在集群中运行 vLLM、SGLang 等模型服务器,将单节点推理引擎转化为可在现有硬件上生产级部署的推理服务。
AiSOC
Free 等级项目星标数: 4.4K开源自托管的 AI 安全运营中心
AiSOC 是开源、可自托管的 AI 安全运营中心,支持告警融合、LLM 代理研判、MITRE ATT&CK 调查与人工批准响应。代理决策写入调查账本并可回放,公开评测工具在 CI 中运行,提供 MCP 服务器,采用 MIT 许可证,无需 API 密钥。
文译(Wenyi)
Free 等级项目星标数: 2.8K以整本书的上下文,把文学作品带到你的语言中。
文译(Wenyi)是一款用于翻译书籍和长篇文本的桌面应用,结合整本书理解、术语一致性和基于证据的审校,帮助作品跨越语言。
billion-context
Free 等级项目星标数: 1.7K面向长时间编码会话的上下文压缩插件
billion-context 是一款上下文压缩插件,让智能体在小上下文窗口(10 万上下文即可)下工作,token 用量约为原来的五分之一,并能支撑持续数月、累计数十亿 token 的单次会话。
TensorFold
Free 等级项目星标数: 1.5K面向 Metal 与 CUDA 的原生本地 LLM 推理
TensorFold 是开源的 LLM 推理引擎,面向 Metal、CUDA 和 Vulkan,可在 Apple Silicon 与 NVIDIA GPU 上以原生 Metal 或 CUDA 本地运行开放模型,并提供 OpenAI 兼容与 Anthropic API。
neuron-explorer
Free 等级项目星标数: 1.3K面向 Qwen3.5-4B 的 steering 优先神经元探索器
neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器:对某一层的每个 MLP 神经元在少量提示上做正向与负向推动,保留每次 rollout,并把结果铺展到模型的 3D 视图中,便于浏览地图、列表、神经元、嵌入和 Claude 对话面板。
Sand3D
Free 等级项目星标数: 1.2K面向 LLM 的 Python 3D 建模
Sand3D 是一个开源的三维代码库与数据集,其中的三维对象使用面向 LLM 的 Sand3D 语言编写。每个对象对应一个 Python 程序,描述各部件、形状、孔洞、位置和材质,也包含参数化机械 CAD 零件与可供 Blender、three.js 和 glTF 引擎使用的网格。
ZeroLeaks
Free 等级项目星标数: 0.7K面向 AI 智能体的持续红队测试
ZeroLeaks 提供面向 AI 智能体与 LLM 提示词的安全测试。托管服务在每次变更时通过工具、记忆、凭据和关联智能体对智能体进行持续红队测试;源代码可用的 CLI 与 TypeScript 库用于测试独立系统提示词的提示注入与提取风险。
Hy-Memory
Free 等级项目星标数: 0.3K面向自演化 LLM 智能体的双系统认知记忆引擎。
生产级双系统认知记忆引擎与 Python SDK,面向自演化 LLM 智能体,提供 Chat、Working 与 Coding 专用记忆流水线,并包含 MemHub 以支持本地优先的跨应用记忆召回。

