跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告

流水线、部署与计算

训练与推理流水线、GPU 作业、服务与部署。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。

Favicon of CUDA Rust

CUDA Rust

Free 等级项目星标数: 3.9K

NVIDIA 面向 Rust 的 CUDA 平台

流水线、部署与计算

CUDA Rust 是 NVIDIA 面向 Rust 的 CUDA 平台,提供用于 CUDA 驱动的宿主端运行时 crate,以及用惯用 Rust 编写 GPU 内核的设备端 crate 和工具,支持 SIMT 与 Tile 两种内核编程模型。

Favicon of NVIDIA Kubernetes Engine

NVIDIA Kubernetes Engine

Free 等级项目星标数: 0.6K

面向 NVIDIA GPU 基础设施的托管 Kubernetes

流水线、部署与计算

NVIDIA Kubernetes Engine(NVKE)是面向 AI 工厂的开源软件,用于在自有 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务。它通过 API 创建集群,负责节点配置、集群组建,以及节点池扩缩容、Kubernetes 升级、节点替换和证书续期。

Favicon of OpenOrange

OpenOrange

Free 等级项目星标数: 0.3K

随处运行 Cloudflare Workers。

流水线、部署与计算

OpenOrange 可在 AWS、Google Cloud、Azure、Rivet Cloud 或自有服务器上原样运行现有 Cloudflare Workers 与 Durable Objects,继续使用 Wrangler 配置和 orange CLI。

广告
OpenFree logo推广你的产品

触达更多潜在用户,助力产品增长与收益提升。

投放广告