openTPU

项目简介

openTPU 是由 AI 开发的开源 AI 加速器。其单仓库包含 SystemVerilog 硬件设计、指令集、位精确模拟器、内核语言与编译器、主机软件以及分析器。该设计在配备 Xilinx Kintex-7 xc7k480t 和两个 DDR3 通道的 Inspur YPCB-00338 卡上运行现代模型，板卡产生的 token 与模拟器逐位一致。

核心功能

• 单仓库整合 RTL、ISA、模拟器、编译器、分析器和主机软件。
• 在 Inspur YPCB-00338 Kintex-7 PCIe 卡上使用真实权重运行十款现代模型，并与模拟器逐 token 一致。
• 支持 int8 与 4-bit 权重格式，并使用 int8 LM head 保持精度。
• 提供 otpu-chat、otpu-serve、otpu-smi、otpu-lens、otpu-selftest 和 otpu-diag 工具。
• 包含基于 NanGate45 的 ASIC 流程，使用开源工具从 SystemVerilog 走到布线后版图。
• 对大于板卡 4 GiB 的混合专家模型，从主机存储流式加载专家。

适用场景

• 从头学习 AI 加速器如何工作，从 Python matmul 内核到 RTL 与 PCIe 板卡调试启动。
• 在 Kintex-7 FPGA 板卡或 ISA 模拟器上本地运行受支持的语言模型。
• 使用量化感知的 golden 检查，将设备输出与 Hugging Face transformers 对照验证。
• 通过 OpenAI 风格 API 为多客户端提供服务，上下文保存在板卡以及主机内存或磁盘中。

快速开始

• 安装 Python 包：pip install -e .，并安装 pytest、torch 和 transformers。
• 运行 python3 -m pytest -q；RTL 测试还需要 Verilator 5。
• 下载受支持的 checkpoint，例如 hf download LiquidAI/LFM2.5-230M --local-dir models/LFM2.5-230M。
• 在模拟器上聊天：otpu-chat --model lfm2 --backend isa。
• 使用板卡时，在 boards/ypcb-00338 中运行 make bit 构建 bitstream，通过 JTAG 加载，运行 sudo otpu-setup，然后使用 otpu-chat --backend board。

部署与要求

• 除板卡外的部分可在笔记本电脑上运行。
• RTL 测试需要 Verilator 5。
• 板卡使用需要 Inspur YPCB-00338 卡（Xilinx Kintex-7 xc7k480t，两个 DDR3 通道），以及通过 JTAG 加载的 Vivado bitstream。
• 大于板卡 4 GiB 的混合专家模型需要从主机存储流式加载专家。
• Gemma 4 E2B 验证峰值可达 16 GB，需要约 22 GB 空闲内存的主机。

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。