neuron-explorer

项目简介

neuron-explorer 是面向 Qwen3.5-4B 的 steering 优先神经元探索器。它会在少量提示上对某一层的每个 MLP 神经元做正向和负向推动，保留每一次 rollout，并把结果铺展到模型的 3D 视图中。探索器提供地图、列表、神经元、嵌入和 Claude 对话面板，用于浏览神经元、受 steering 控制的 rollout、lens、连接以及实时推理结果。

核心功能

• 3D 模型层地图，按注意力与 MLP 展示每个神经元对应的点；悬停可查看 steer lens 与 logit lens，点击可打开神经元，点击层标签可正对该层视图。
• 神经元列表按词簇质量相对随机方向对照进行排序，并支持用 lens 搜索 token、用 fires 过滤激活。
• 按提示与剂量查看每个神经元的 steered rollout，包括负、零、正三列的多轮 steered 对话。
• 对某一层的 rollout 生成 UMAP 嵌入，并按神经元、提示、剂量或类型着色。
• Claude 对话面板通过 claude CLI 运行，并以探索器作为 MCP 服务器，可读取神经元、cone 和 lens，执行实时模型操作，移动地图、列表与高亮，并使用文件工具与 shell。
• Sweep 工具链记录神经元统计、rollout 文本、token id、logprob、top-k 数据、排序数据、steer lens、深度报告、嵌入布局与连接缓存。

适用场景

• 研究单个 MLP 神经元在跨提示与跨剂量 steering 时如何影响模型行为。
• 通过层地图、神经元列表、lens 与连接视图浏览模型内部。
• 按神经元、提示、剂量或类型比较 rollout 嵌入，观察 steering 结果中的结构。
• 使用启用 MCP 的 Claude 对话查询神经元，并从探索器运行实时模型实验。

快速开始

• 使用 uv sync 安装依赖。
• 运行 uv run python explorer/server.py 启动探索器；它从 runs/ 读取 sweep 运行结果，从 stats/ 读取逐层统计。
• 在 CUDA 13 GPU pod 上运行 sweep/setup_pod.sh，再运行 sweep/neuron_stats.py 与 sweep/steer_sweep.py 生成 sweep 数据。

部署与要求

• 探索器可在 MPS、CUDA 或 CPU 上本地加载 Qwen3.5-4B。
• Sweep 工作流需要 CUDA 13 GPU pod 与 vLLM 的 steering 分支。
• Claude 对话面板要求 claude CLI 已安装并登录。
• 探索器从 runs/ 读取运行结果，从 stats/ 读取逐层统计；explorer/cache/ 中的缓存随仓库提供。

采用前须知

• 未检测到可识别的许可证；采用前请核实项目的使用、修改和分发权限。