跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of NVIDIA Kubernetes Engine

NVIDIA Kubernetes Engine

Free 等级项目

NVIDIA Kubernetes Engine(NVKE)是面向 AI 工厂的开源软件,用于在自有 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务。它通过 API 创建集群,负责节点配置、集群组建,以及节点池扩缩容、Kubernetes 升级、节点替换和证书续期。

访问 dsx-ai-factory/nvke

项目简介

NVIDIA Kubernetes Engine(NVKE)是 AI 工厂安装后可在自有 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务的开源软件。运维人员调用 NVKE API 为客户创建集群;NVKE 负责配置节点,使用各自的控制平面和 etcd 组建每个集群,并在之后执行节点池扩缩容、Kubernetes 升级、节点替换和证书续期。它通过 Cluster API 连接基础设施提供方,并使用 NVKE 节点代理在无需 SSH 的情况下配置节点。

核心功能

  • 主要功能包括:提供托管集群 API,运维人员可按 Kubernetes 版本、节点池和网络设置请求集群,Cluster API、kubeadm 和节点配置由 API 与 nvkectl 隐藏;支持使用来自固定来源且可验证的制品,包括基于 NVKE 代码检出及其固定构建输入构建的参考节点镜像,以及可选的 NVKR 构建组件与软件包制品;在裸金属环境中,节点加入前通过 TPM 和 SPIFFE/SPIRE 证明身份,之后才获得加入凭证,并支持按集群启用 etcd 静态加密;通过节点池执行 GPU 感知的日常运维,包括升级、节点替换、证书续期,以及在

适用场景

  • AI 工厂运维人员使用 NVKR 构建制品,安装并运行 NVKE,为客户创建和运维 Kubernetes 集群。AI 工厂客户从运维人员处获得 Kubernetes API 端点和节点池,并在其上运行 AI 工作负载。评估者和贡献者可在单台 Linux 机器上针对模拟基础设施提供方试用 NVKE,或构建和修改 NVKE 与 NVKR。

快速开始

  • 可在单台至少具有 6 个 CPU 和 12 GiB 内存的 Linux 机器上,使用 mock-NICo 进行本地评估。也可在单台机器上端到端运行 NVKE。进行硬件安装时,先规划安装,构建并托管节点操作系统镜像,准备节点,引导管理集群,安装管理平面,将 NICo 配置为基础设施提供方,并保护 NVKE API。

部署与要求

  • 需要由 NICo 管理的 NVIDIA GPU 机器及其连接网络。需要按 NVKE 文档准备管理集群节点。需要一台具备所需工具的参考镜像构建主机、一个 HTTP(S) 启动制品端点,以及用于容器和软件包制品的镜像仓库。如果启用 NVKE API 认证,需要能够签发签名 JWT 的身份提供方。在预览阶段,支持的基础设施提供方为 NVIDIA Infra Controller(NICo)。

采用前须知

  • 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 NVIDIA Kubernetes Engine 的项目

Favicon of CUDA Rust

CUDA Rust

Free 等级项目星标数: 3.9K

NVIDIA 面向 Rust 的 CUDA 平台

流水线、部署与计算

CUDA Rust 是 NVIDIA 面向 Rust 的 CUDA 平台,提供用于 CUDA 驱动的宿主端运行时 crate,以及用惯用 Rust 编写 GPU 内核的设备端 crate 和工具,支持 SIMT 与 Tile 两种内核编程模型。

Favicon of FlashMLA

FlashMLA

Free 等级项目星标数: 13.1K

面向 DeepSeek 推理的优化注意力算子

流水线、部署与计算

FlashMLA 是 DeepSeek 的高性能注意力算子库,支撑 DeepSeek-V4.1 在 NVIDIA GPU 与华为昇腾 NPU 上的推理。它提供面向 prefill 与 decoding 的 token 级稀疏注意力算子(支持 FP8 或 FP4 KV 缓存)、融合 Q-norm、Q-RoPE、注意力、O-RoPE 与 FP8 转换的融合算子,以及用于 prefill 和反向传播的稠密注意力算子。