跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

标记为“C++”的工具

Favicon of llama.cpp

llama.cpp

Free 等级项目星标数: 129.5K

C/C++ 实现的 LLM 推理

语言模型

用 C/C++ 实现 LLM 推理,以最简设置和一流性能在本地和云端的各种硬件上运行。

Favicon of PaddleOCR

PaddleOCR

Free 等级项目星标数: 90.2K

全球领先的OCR工具包与文档AI引擎

文档解析与 OCR

PaddleOCR 是一款强大、轻量的 OCR 与文档解析工具包,可将 PDF 和图像转换为结构化、可供 LLM 使用的数据。它支持 100 多种语言、JSON 和 Markdown 输出,并帮助构建 RAG 和 Agentic 应用。

Favicon of whisper.cpp

whisper.cpp

Free 等级项目星标数: 53.9K

OpenAI Whisper 模型的高性能 C/C++ 推理实现

转录与听写

whisper.cpp 是 OpenAI Whisper 自动语音识别模型的 C/C++ 移植版,以无依赖、高性能推理为目标,支持 CPU 以及 Apple Silicon、NVIDIA、AMD、Vulkan、OpenVINO、Ascend NPU、Moore Threads 等多种硬件加速后端。

Favicon of Colibri

Colibri

Free 等级项目星标数: 46.7K

小巧引擎,驱动巨型模型

本地模型运行器

Colibri 是一个开源分层推理引擎,可让大语言模型适配本机硬件,协调 CPU、GPU、内存与存储,并按需从磁盘流式读取混合专家权重。

Favicon of Strata

Strata

Free 等级项目星标数: 31.2K

在自己的 PC 上运行 Qwen3.8-Flash-Next

聊天界面

Strata 让 125B 参数的 Qwen3.8-Flash-Next 在消费级 PC 上运行,提供 Windows/Linux 一键安装、本地推理引擎、localhost 上的 OpenAI/Anthropic 兼容 API,并可选图像输入。

Favicon of RocketRide

RocketRide

Free 等级项目星标数: 18.8K

开源 AI 流水线引擎,面向 LLM 工作流

智能体框架

RocketRide 是开源 AI 流水线引擎,采用 C++ 内核与可扩展的 Python 节点,可在 IDE 中构建、调试、观测和部署 LLM 工作流与多智能体编排,并提供 TypeScript、Python SDK 与 Docker 部署方式。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。

Favicon of Rerun

Rerun

Free 等级项目星标数: 11.6K

面向物理 AI 的数据层,覆盖从采集到训练

数据分析与商业智能

Rerun 是面向物理 AI 的数据层,提供开源 SDK,用于记录、查询、可视化和流式传输多模态机器人数据,贯穿从采集到训练的全流程。

Favicon of Edge0

Edge0

Free 等级项目星标数: 11K

面向端侧 AI 的设备原生基础模型

语言模型

Edge0 提供设备原生基础模型与开源流式 MoE 推理框架,可在笔记本上运行 145B、在手机上运行 35B 等大型稀疏模型,通过 SSD 流式加载权重,支持离线端侧处理与零令牌成本。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告