agent-desktop:给代理的桌面操控
agent-desktop: computer use for any agent
Vercel Labs 开源(Apache-2.0)的 CLI 和 C 库,支持 macOS、Windows、Linux,通过系统无障碍树读取并操作桌面应用;快照为每个可操作元素返回引用,默认后台运行,不移动指针。
要点
- 循环是:snapshot 拿引用、对引用执行动作、再 snapshot 验证。
- 引用只属于产生它的快照;界面变化后报 STALE_REF 就重新快照。
- 复杂应用先用 --skeleton 看结构,再用 --root 钻进某个区域以省 token。
- 首次使用前让代理运行 agent-desktop skills get desktop 和 skills get platform 读取内置说明。
- macOS 需授予辅助功能权限,Linux 需要 at-spi2-core。
安装 / 使用
npm install -g agent-desktop && npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop