agent-desktop

项目简介

agent-desktop 是 Vercel Labs 提供的 CLI 与 C 库，可读取桌面应用的辅助功能树并以 JSON 返回。每个代理可操作的元素都会获得一个 ref；代理对 ref 执行操作，再次读取 UI 进行验证，并重复这一过程。它面向 macOS、Windows 和 Linux，不包含 LLM 或 GUI。

核心功能

• 读取桌面应用的辅助功能树，将快照以 JSON 返回，并为每个可操作元素提供 ref。ref 与快照绑定，操作后重新读取 UI 验证结果，而不是进行像素匹配。提供 CLI，包含 60 个命令名，覆盖观察、交互、键盘、鼠标、应用与窗口、通知、剪贴板、等待、会话和系统命令。提供名为 libagent_desktop_ffi 的 C 库，支持进程内调用，并记录入口点、内存所有权和线程规则。通过 AX API 支持 macOS，通过 UI Automation 支持 Windows，通过 AT-SPI 支持

适用场景

• 需要在不过度依赖像素匹配的情况下检查和操作桌面应用的代理。在原生应用中自动执行点击、输入、选择、滚动和等待等操作。希望以 C 库进行进程内集成，而不是为每条命令启动 CLI 的场景。通过骨架快照映射大型或密集桌面界面，并下钻到单个区域。

快速开始

• 使用 npm 全局安装：npm install -g agent-desktop；随后运行 agent-desktop version 检查安装。在 macOS 上运行 agent-desktop permissions --guide 授予辅助功能权限。使用 agent-desktop snapshot --app Finder -i 获取快照，使用 agent-desktop click @s8f3k2p9:e8 执行操作，然后再次获取快照进行验证。

部署与要求

• macOS 13 或更高版本，支持 Intel 或 Apple Silicon；运行 agent-desktop 的应用需要辅助功能权限。Windows 10 1809 或更高版本，或 Windows Server 2019 或更高版本，运行于 x64 或 ARM64，并位于已登录用户的交互式桌面。Linux 需要 Ubuntu 24.04 或更高版本，运行于 x86_64 或 aarch64（glibc 2.35 下限），并处于用户图形会话且 AT-SPI 总线正在运行。Linux 需要 at-spi2-core。macOS 上 TMPDIR

采用前须知

• 许可证：Apache-2.0。在使用、修改或分发项目前，请确认其具体条款。