Skill自动化

agent-desktop:给代理的桌面操控

agent-desktop: computer use for any agent

Vercel Labs 开源(Apache-2.0)的 CLI 和 C 库,支持 macOS、Windows、Linux,通过系统无障碍树读取并操作桌面应用;快照为每个可操作元素返回引用,默认后台运行,不移动指针。

要点

  1. 循环是:snapshot 拿引用、对引用执行动作、再 snapshot 验证。
  2. 引用只属于产生它的快照;界面变化后报 STALE_REF 就重新快照。
  3. 复杂应用先用 --skeleton 看结构,再用 --root 钻进某个区域以省 token。
  4. 首次使用前让代理运行 agent-desktop skills get desktop 和 skills get platform 读取内置说明。
  5. macOS 需授予辅助功能权限,Linux 需要 at-spi2-core。

安装 / 使用

npm install -g agent-desktop && npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop