English
主导航

计算机控制

让 Codex 在工作时使用桌面应用

在 Codex 应用中,计算机使用功能目前在 macOS 上可用(欧洲经济区、英国和瑞士在发布时暂不支持)。安装计算机使用插件,然后在 macOS 提示时授予屏幕录制和辅助功能权限。

借助计算机使用功能,Codex 可以查看和操作 macOS 上的图形用户界面。当命令行工具或结构化集成无法满足需求时,可以使用该功能,例如检查桌面应用、使用浏览器、更改应用设置、处理没有可用插件的数据源,或复现仅在图形用户界面中出现的 Bug。

由于计算机使用功能会影响项目工作区之外的应用和系统状态,请将其用于限定范围的任务,并在继续之前审查权限提示。

设置计算机使用

In Codex settings, open 计算机控制 and click 安装 以在要求 Codex 操作桌面应用之前安装计算机使用插件。当 macOS 提示请求访问权限时,如果您希望 Codex 能够查看目标应用并与之交互,请授予屏幕录制和辅助功能权限。

要使用计算机使用功能,请授予:

  • 屏幕录制 权限,以便 Codex 可以查看目标应用。
  • 辅助功能 权限,以便 Codex 可以进行点击、输入和导航。

何时使用计算机使用功能

当任务依赖于仅凭文件或命令输出难以验证的图形用户界面时,请选择使用计算机使用功能。

适用场景包括:

  • 测试 macOS 应用、iOS 模拟器流程或 Codex 正在构建的其他桌面应用。
  • 执行需要使用网页浏览器的任务。
  • 复现仅在图形界面中出现的 Bug。
  • 更改需要通过点击 UI 进行操作的应用设置。
  • 检查无法通过插件获取的应用或数据源中的信息。
  • 在您继续处理其他工作时,在后台运行限定范围的任务。
  • 执行跨多个应用的工作流。

对于您在本地构建的 Web 应用,请使用 in-app browser first.

启动计算机使用任务

在您的提示词中提及 @Computer or @AppName ,或要求 Codex 使用计算机使用功能。描述 Codex 应该操作的具体应用、窗口或流程。

Open the app with computer use, reproduce the onboarding bug, and fix the
smallest code path that causes it. After each change, run the same UI flow
again.
Open @Chrome and verify the checkout page still works after the latest changes.

如果目标应用提供了专用插件或 MCP 服务器,请优先使用该结构化集成来进行数据访问和可重复操作。当 Codex 需要以视觉方式检查或操作应用时,请选择计算机使用功能。

权限与审批

计算机使用的 macOS 系统权限与 Codex 中的应用审批是分开的。macOS 权限允许 Codex 查看和操作应用。应用审批则决定了您允许 Codex 使用哪些应用。文件读取、文件编辑和 Shell 命令仍遵循会话的沙盒和审批设置。

借助计算机使用功能,Codex 只能看到并操作您允许的应用。在任务执行期间,Codex 会在使用您计算机上的应用之前请求您的许可。您可以选择 始终允许 以便 Codex 将来使用该应用时无需再次询问。您可以在 Codex 设置的 始终允许 部分的 计算机控制 列表中移除应用。

Codex 在执行敏感或破坏性操作前可能也会请求许可。

如果 Codex 无法查看或控制某个应用,请打开 系统设置 > 隐私与安全性 and check 屏幕录制 and 辅助功能 for the Codex app.

锁定状态下的使用

锁定状态下的计算机使用功能允许 Codex 在您的 Mac 锁定后继续使用计算机使用功能,但前提是您已启用此功能。当 Codex 任务需要在 Mac 锁定后从已连接的设备使用桌面应用时,请使用此功能。

启用锁定状态下的计算机使用功能后,Codex 会安装一个 Apple 授权插件 该插件将参与 macOS 的解锁流程。

锁定状态下的使用功能在设计上有意保持了范围限定。它并非 Mac 的通用远程解锁途径,也不允许其他应用或本地进程解锁计算机。

要使用锁定状态下的计算机使用功能:

  1. 打开 Codex 设置 > 计算机使用.
  2. 启用锁定状态下的计算机使用。
  3. 在 Mac 屏幕锁定后,从已连接的设备启动一个使用计算机使用功能的任务。

当 Codex 任务在 Mac 锁定后通过计算机使用功能访问应用时,Codex 会临时解锁 Mac,同时阻止本地操作并保持锁定屏幕的保护机制。在解锁之前,Codex 会检查此次解锁尝试是否属于活跃且受信任的计算机使用轮次。在该短暂的时间窗口之外,Codex 会拒绝解锁,并在需要时要求您手动解锁。

锁定状态下的使用功能包含以下保障措施:

  • 授权时间窗口短暂,且仅限于当前的解锁尝试。
  • 自动解锁功能仅在活跃的计算机使用轮次中对 Codex 可用。
  • 在桌面临时解锁期间,Codex 会覆盖所有显示器。
  • 如果 Codex 检测到本地键盘或指针输入,它将重新锁定 Mac 并暂停自动解锁,直到您手动解锁。

安全指南

借助计算机使用功能,Codex 可以查看屏幕内容、截取屏幕截图,并与目标应用中的窗口、菜单、键盘输入和剪贴板状态进行交互。请将可见的应用内容、浏览器页面、屏幕截图以及在目标应用中打开的文件视为 Codex 在任务运行期间可能处理的上下文。

保持任务聚焦,并在处理敏感流程时保持关注:

  • 一次只为 Codex 指定一个明确的目标应用或流程。
  • 您可以随时停止任务或接管计算机的控制权。
  • 除非任务需要,否则请关闭敏感应用。
  • 除非你在场并能逐步审批操作,否则请避免执行需要密钥的任务。
  • 在允许 Codex 使用应用之前,请先审查应用的权限提示。
  • 使用 始终允许 仅限你信任 Codex 在未来的任务中自动使用的应用。
  • 在涉及账户、安全、隐私、网络、支付或凭据相关的设置时,请务必保持在场监督。
  • 如果 Codex 开始操作错误的窗口,请立即取消任务。

如果 Codex 使用你的浏览器,它可以在你已登录的页面上进行操作。请像亲自操作一样仔细审查网站行为:网页可能包含恶意或误导性内容,并且网站可能会将已批准的点击、表单提交和已登录状态下的操作视为来自你本人的账户行为。如果你想在 Codex 工作时继续使用你的浏览器,可以要求 Codex 使用其他浏览器。

此功能无法自动化终端应用或 Codex 本身,因为对它们进行自动化可能会绕过 Codex 的安全策略。它也无法以管理员身份进行身份验证,或批准计算机上的安全与隐私权限提示。

文件编辑和 Shell 命令在适用的情况下仍需遵循 Codex 的审批和沙盒设置。通过桌面应用所做的更改,在保存到磁盘并被项目追踪之前,可能不会显示在审查面板中。你的 ChatGPT 数据控制设置同样适用于通过 Codex 处理的内容,包括通过计算机使用功能截取的屏幕截图。