跳过主要内容
广告OpenFree logo推广你的产品触达更多潜在用户,助力产品增长与收益提升。投放广告
Favicon of TrnRT

TrnRT

Free 等级项目

TrnRT 是面向 AWS Trainium 的大语言模型开放推理引擎,可在单台 trn2.48xlarge 上提供兼容 OpenAI 的聊天与补全 API,并采用 NKI megakernel、前缀缓存和离线编译流水线。

访问 RunanywhereAI/trnrt

项目简介

TrnRT 是面向 AWS Trainium 的大语言模型开放推理引擎。它从单台 trn2.48xlarge 提供兼容 OpenAI 的 API,并采用 NKI megakernel、前缀缓存和离线编译流水线。

核心功能

  • NKI megakernel 将解码过程组织为大致每半个层一个融合内核,把 KDA 注意力、融合 DSA 层、mHC 和 MoE FFN 打包在一起;支持 1M token 上下文,通过 top 2,048 的稀疏注意力和带固定大小状态的线性注意力实现;前缀缓存以 FP8 KV 页上的基数树构建,并为被淘汰页和状态检查点提供主机内存层;提供兼容 OpenAI 的 API,覆盖聊天、补全、流式输出、工具调用和推理输出;每台机器运行两个引擎,每个引擎在 32 个逻辑 NeuronCore 上做张量并行,前端是会话亲和路由器;离线编译在 CPU

适用场景

  • 在 AWS Trainium2 上通过兼容 OpenAI 的 API 服务 GLM-5.3-Flash;需要 1M token 上下文和前缀缓存的长上下文推理负载;在单台 trn2.48xlarge 上回放编码智能体会话及其他高吞吐推理负载。

快速开始

  • 克隆仓库,并用 Neuron SDK 2.32 和 Python 3.13 构建 Docker 镜像;在任意 x86_64 主机上构建编译缓存,源文说明这一步需要数小时;把缓存和 NKI 文件复制到 trn2.48xlarge,下载 GLM-5.3-Flash,并在 8000 端口运行服务容器;用任意 OpenAI 客户端连接本地兼容 OpenAI 的端点进行调用。

部署与要求

  • 需要 Docker;服务需要 AWS Trainium2 trn2.48xlarge 实例;编译可在任意 x86_64 主机上运行,不需要 NeuronCore;软件栈面向 Python 3.13 和 Neuron SDK 2.32(neuronx-cc 2.27)。

采用前须知

  • 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。

评论

登录 后发表评论。

更多类似 TrnRT 的项目

Favicon of DwarfStar

DwarfStar

Free 等级项目星标数: 24K

面向消费级硬件的精选大模型本地推理引擎

推理服务与 API

DwarfStar 是一个小型原生推理引擎,专注于在消费级硬件上运行 DeepSeek、GLM 和 Qwen 等精选大语言模型,支持 Metal、CUDA 和 ROCm。它要求使用项目自身产出的 GGUF 文件,并非通用 GGUF 运行器。

Favicon of DeepInfer

DeepInfer

Free 等级项目星标数: 7.9K

面向 DeepSeek 模型的高性能大规模推理框架

推理服务与 API

DeepInfer 是面向 DeepSeek 模型的高性能、大规模推理框架。本次开源版本提供离线推理,包含优化内核、并行、调度、确定性采样和结构化输出等大规模服务所需的核心能力。

Favicon of vLLM

vLLM

Free 等级项目星标数: 94.2K

面向所有人,简单、快速且经济高效的 LLM 服务。

推理服务与 API

vLLM 是面向大语言模型的高吞吐、内存高效推理与服务引擎,旨在让人人都能简单、快速且经济高效地部署 LLM 服务。