TrnRT
TrnRT 是面向 AWS Trainium 的大语言模型开放推理引擎,可在单台 trn2.48xlarge 上提供兼容 OpenAI 的聊天与补全 API,并采用 NKI megakernel、前缀缓存和离线编译流水线。
访问 RunanywhereAI/trnrt项目简介
TrnRT 是面向 AWS Trainium 的大语言模型开放推理引擎。它从单台 trn2.48xlarge 提供兼容 OpenAI 的 API,并采用 NKI megakernel、前缀缓存和离线编译流水线。
核心功能
- NKI megakernel 将解码过程组织为大致每半个层一个融合内核,把 KDA 注意力、融合 DSA 层、mHC 和 MoE FFN 打包在一起;支持 1M token 上下文,通过 top 2,048 的稀疏注意力和带固定大小状态的线性注意力实现;前缀缓存以 FP8 KV 页上的基数树构建,并为被淘汰页和状态检查点提供主机内存层;提供兼容 OpenAI 的 API,覆盖聊天、补全、流式输出、工具调用和推理输出;每台机器运行两个引擎,每个引擎在 32 个逻辑 NeuronCore 上做张量并行,前端是会话亲和路由器;离线编译在 CPU
适用场景
- 在 AWS Trainium2 上通过兼容 OpenAI 的 API 服务 GLM-5.3-Flash;需要 1M token 上下文和前缀缓存的长上下文推理负载;在单台 trn2.48xlarge 上回放编码智能体会话及其他高吞吐推理负载。
快速开始
- 克隆仓库,并用 Neuron SDK 2.32 和 Python 3.13 构建 Docker 镜像;在任意 x86_64 主机上构建编译缓存,源文说明这一步需要数小时;把缓存和 NKI 文件复制到 trn2.48xlarge,下载 GLM-5.3-Flash,并在 8000 端口运行服务容器;用任意 OpenAI 客户端连接本地兼容 OpenAI 的端点进行调用。
部署与要求
- 需要 Docker;服务需要 AWS Trainium2 trn2.48xlarge 实例;编译可在任意 x86_64 主机上运行,不需要 NeuronCore;软件栈面向 Python 3.13 和 Neuron SDK 2.32(neuronx-cc 2.27)。
采用前须知
- 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。