Rerun
Rerun 是面向物理 AI 的数据层,提供开源 SDK,用于记录、查询、可视化和流式传输多模态机器人数据,贯穿从采集到训练的全流程。
访问 rerun-io/rerun项目简介
Rerun 是面向物理 AI 的数据层。它可摄入来自机器人日志、人体数据采集装置、仿真和网络视频的多速率、多模态数据,包括图像、点云、变换、时间序列、关节状态和视频。内置查看器可实时同步渲染这些数据,同时同一份数据可通过 dataframe 或 SQL 查询,并直接流式传输到训练流程。Rerun 使用 Rust 编写,基于专为多速率物理数据设计的列块存储,提供 Python、Rust 和 C++ SDK。
核心功能
- 开源 SDK 支持记录、查询、可视化和流式传输多模态机器人数据。
- 内置时间感知查看器可实时同步可视化多速率、多模态序列。
- 支持对录制数据执行完整的 dataframe 或 SQL 查询,可深入到列、时间范围和值。
- 以列块形式将多速率、多模态数据存储于 rrd 文件,并可摄入 MCAP、rrd、LeRobot 等格式。
- 数据集组合可直接流式传输到训练,无需导出步骤,数据加载器可感知列与视频编解码。
- Rerun Hub 为 Rerun 数据提供目录、字节范围索引、检索、查询、转换、训练和团队共享基础设施。
适用场景
- 通过可视化 RGB 相机画面、深度图像、激光雷达扫描、分割结果、3D 地图、检测到的目标及置信度随时间的变化,调试机器人系统。
- 以表编辑的方式运行 SLAM、手部跟踪和动作重定向等计算机视觉流程。
- 使用 dataframe 或 SQL 查询原始、中间和派生数据,构建用于训练和评估的数据集。
- 将数据集组合直接流式传输到 GPU 进行训练,无需导出作业或产生过期副本。
快速开始
- 使用 pip install rerun-sdk 安装 Python SDK。
- 使用 cargo add rerun 添加 Rust SDK。
- 安装 Rerun Viewer 二进制文件,以便通过网络流式传输日志数据或加载 .rrd 数据文件;可通过 pip install rerun-sdk 或 cargo install rerun-cli --locked --features nasm 安装。
- 在浏览器中运行 Rerun Viewer,或参照 C++、Python 或 Rust 快速入门指南。
部署与要求
- 若要通过网络流式传输日志数据或加载 .rrd 数据文件,需安装 rerun 二进制文件。
- 只有 Python SDK 自带 Viewer;C++ 和 Rust 依赖单独安装 Viewer。
- nasm Cargo 特性要求已安装 nasm CLI 并在路径中可用;跳过该特性可能导致视频解码性能下降。
- Rerun Viewer 可在网页浏览器中运行。
采用前须知
- 许可证:Apache-2.0。在使用、修改或分发项目前,请确认其具体条款。