Anthropic 为旗下 AI 代码代理工具 Claude Code 推出全新的「Computer Use」(电脑操控)功能,以研究预览(Research Preview)形式向 macOS 用户开放。该功能让 Claude 能直接控制使用者的电脑屏幕——打开应用程序、点击按钮、输入文字、截图,并在同一个对话中串联完成从写程式到 UI 测试的完整工作流程,无需离开终端机。
Claude 能直接帮你「点」什么?
根据官方技术文件,Computer Use 主要针对需要图形界面(GUI)才能完成的任务,也就是那些「你平常得放下终端机、自己动手做」的事:
建置并验证原生应用程序:叫 Claude 写一个 macOS 菜单栏 App,它会自己编译、启动、逐一点击所有控制项确认功能正常,你甚至还没打开过这个 App。
端到端 UI 测试:指着一个本地 Electron 应用说「测试新手引导流程」,Claude 会打开 App、点击注册步骤、对每个画面截图。不需要 Playwright 设置,不需要测试框架。
调试视觉与版面问题:告诉 Claude「这个 Modal 在小视窗上被截到了」,它会缩小视窗重现 bug、截图、修改 CSS、再次确认修复结果——它看得到你看到的画面。
操作只有 GUI 的工具:设计工具、硬体控制面板、iOS Simulator,或任何没有 CLI 或 API 的专有软件。
Claude 的工具选用优先顺序
Computer Use 是「最广泛也最慢」的工具,Claude 会依优先顺序选用最精确的方式:
有对应的 MCP Server → 用 MCP
是 Shell 指令 → 用 Bash
是浏览器操作且有设置 Claude in Chrome → 用 Chrome 扩充套件
以上都不适用 → 才启用 Computer Use
也就是说,屏幕控制是留给「其他方式都够不到」的场景:原生应用程序、模拟器、没有 API 的工具。
如何开启 Computer Use
Computer Use 以内建 MCP Server(名称:
computer-use
)的形式提供,默认关闭,需手动启用:
在交互式 Claude Code 工作阶段中执行 /mcp,从清单中找到 computer-use(显示为已停用)
选取后点击 Enable,设置会依专案持久保存,每个专案只需设置一次
第一次让 Claude 操控电脑时,macOS 会要求授予两项权限:辅助使用(Accessibility)和屏幕录制(Screen Recording)。授权后选「再试一次」,部分情况下需重新启动 Claude Code
每次工作阶段需逐一授权 App
启用
computer-use
并不代表 Claude 可以控制你电脑上的所有 App。每次工作阶段中,Claude 第一次需要操控某个 App 时,终端机会出现提示,显示:
Claude 想控制哪些 App
是否有额外的权限请求(如剪贴簿存取)
工作期间有多少其他 App 会被隐藏
选择「本次工作阶段允许」或「拒绝」,授权仅在当前工作阶段有效。对于具有广泛系统存取权的 App,系统还会额外显示警告:
Claude 如何在你的屏幕上工作
全机独占锁定:Computer Use 启动后会取得机器层级的排他锁,若另一個 Claude Code 工作阶段已在使用电脑,新的请求会失败并提示先结束另一个工作阶段。
其他 App 暂时隐藏:Claude 开始操控屏幕时,未授权的可见 App 会被隐藏,确保 Claude 只与授权的 App 互动。你的终端机视窗维持可见且不会被截图,你可以即时监看,Claude 也看不到自己的输出。Claude 完成后,隐藏的 App 会自动还原。
随时可中断:Claude 取得锁定后,macOS 会显示通知「Claude is using your computer · press Esc to stop」。随时按
Esc
或在终端机按 Ctrl+C 即可立即中断,Claude 会释放锁定、还原所有 App,并归还控制权。
安全机制与信任边界
官方文件特别强调,Computer Use 与沙箱化的 Bash 工具不同,它直接在你的桌面环境上执行,信任边界不同。内建的安全护栏包括:
逐 App 授权:Claude 只能控制你在当前工作阶段明确授权的 App
哨兵警告:授予 Shell、文件系统或系统设置存取权的 App,在授权前会特别标记
自动提示注入侦测:Claude 会检查屏幕上的内容,并标记潜在的提示注入攻击
使用条件与限制
需订阅 Pro 或 Max 方案(Team、Enterprise 方案不适用)
需 Claude Code v2.1.85 以上版本
目前仅支持 macOS(研究预览阶段)
需在交互式工作阶段中使用,不支持非交互模式( -p 旗标)
浏览器和交易平台等 App 仅限「检视模式」;终端机和 IDE 为「点击模式」;其他 App 为完整控制
MacRumors 指出,相比竞争对手,Claude 的 Computer Use 采取更严格的权限优先设计,且目前仅限 Mac,而其他方案已支持 macOS、Windows 和 Linux。
对开发者而言,这项功能最大的价值在于缩短「写程式→测试→修 bug」的迴圈——Claude 不只写 code,还能亲自看着你的画面验证结果。
风险提示 加密货币投资具有高度风险,其价格可能波动剧烈,您可能损失全部本金。请谨慎评估风险。
这篇文章 Claude Code 新功能:AI 直接操控你的 Mac 屏幕,从终端机写程式到点击测试一条龙 最早出现在 链新闻 ABMedia。