尧图网页设计 
Open Computer Use 代码优先玩法ocu js 与 cua 异步 API 自动化脚本编写完整教程【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Use 是一个开源的 Computer Use 桌面自动化服务支持 macOS、Linux 和 Windows。除了把它接入 AI 客户端当 MCP 服务器用它还有一个更极客的玩法通过 npm 命令ocu js直接在命令行里跑 JavaScript 自动化脚本配合内置的cua 异步 API几行代码就能完成读取界面 → 点击 → 输入 → 校验的完整桌面操作流程。本文就是 ocu js 与 cua API 的完整教程从零开始带你写出第一个桌面自动化脚本。为什么选代码优先一条 JS 调用顶十次工具调用传统的 MCP 工具调用方式下每做一步操作查状态、点击、输入……都要和模型或宿主之间往返一次流程长、速度慢、中间状态反复序列化。而 Open Computer Use 官方提供的**代码优先code-first**玩法让你在一段 JavaScript 里把检查 → 操作 → 再检查 → 分支 → 重试 → 校验全部本地编排完成一次js调用就把整段流程跑完。这套设计对齐了官方 Computer Use 的代码优先工作流完整背景可以读参考文档docs/references/js-repl.md。核心架构分四层持久化 Node.js REPL—— 持有顶层变量绑定和顶层await异步的cuaAPI—— 把 JavaScript 调用翻译成原生 MCP 请求原生运行时Swift / Go / Python—— 负责应用发现、截图、无障碍树和输入模拟Worker 边界—— 超时时可以安全终止 CPU 占满的脚本并重建内核。一键安装3 步完成环境准备 第 1 步全局安装 npm 包npm i -g open-computer-use安装后会自动注册短命令ocu两个名字可以互换使用。npm 启动器要求 Node.js 18 或更高版本macOS 运行时要求 macOS 14.0 及以上。第 2 步授予权限仅 macOS首次运行一次ocu按提示授予Accessibility辅助功能和Screen Recording屏幕录制权限即可。Windows 与 Linux 无需此步骤。第 3 步运行环境体检写脚本前先做一次能力检查确认 Node、REPL 适配器、JS 内核和原生运行时都可用ocu capabilities # 想要结构化的 JSON 报告 ocu capabilities --json命令会逐项报告组件可用性即使某个组件缺失js/repl命令依然会显示在帮助里并标注缺失原因方便排查。能力检测逻辑位于 scripts/node-repl/open-computer-use-cli.mjsREPL 适配器实现在 scripts/node-repl/open-computer-use-repl.mjs。ocu js 的三种用法命令行、管道与文件ocu js用于执行一段 JavaScript 求值支持顶层await和已初始化的cuaAPI执行完即关闭 Worker 和原生 MCP 子进程。它接受三种输入来源按需选择用法命令示例适用场景命令行参数ocu js nodeRepl.write(6 * 7)快速验证一行表达式标准输入-printf %s nodeRepl.write(6*7) \| ocu js -从管道注入代码脚本文件ocu js --file ./automation.mjs正式的自动化脚本常用参数--timeout 毫秒执行超时默认 30000ms上限 300000ms--json以 JSON 形式输出求值结果方便被其他脚本消费。最小示例列出当前系统里的应用但不把结果发射给模型输出只写到本地var apps await cua.listApps({ emit: false }); nodeRepl.write(apps)listApps()返回规范化的应用数组每项包含{ id, displayName, lastUsedDate?, useCount?, isRunning? }是脚本里做应用筛选的第一站。认识 cua 异步 API桌面操作的瑞士军刀 cua API 是一组异步的、与应用绑定的方法。绑定一个应用后后续操作都挂在这个应用对象上天然避免了点错窗口var app await cua.getApp(TextEdit); // 绑定应用并自动输出初始无障碍状态 await app.click(12); // 点击元素索引 12 await app.typeText(Hello); // 输入文本 await app.getAXState(); // 读取最新的界面状态cua.getApp(...)接受应用名或 Bundle ID与原生运行时一致。应用对象上暴露的完整方法清单如下方法说明getAXState(options?)读取无障碍树文本快照getScreenshot(options?)截取应用画面getAXStateAndScreenshot(options?)一次拿状态加截图click(elementIndexOrPoint, options?)点击元素索引或坐标drag([fromX, fromY], [toX, toY])拖拽pressKey(key)按键scroll(elementIndex, direction, pages?)滚动setValue(elementIndex, value)设置输入框值typeText(text)逐字输入performSecondaryAction(elementIndex, action)触发元素次级操作全局层面还有两个发现类方法await cua.getState()返回{ apps }和await cua.listApps()。所有观察类方法默认会发射结果如果代码只需要值、不想刷屏就传{ emit: false }。额外输出用nodeRepl.write(value)写文本、await nodeRepl.emitImage(image)发图片支持 data URL 或字节。完整示例给 TextEdit 写一段自动化脚本下面是一个可直接运行的脚本骨架演示绑定 → 操作 → 校验的标准三步曲。把它保存为automation.mjs用ocu js --file ./automation.mjs执行// 1. 绑定 TextEdit初始状态会自动打印出来 var app await cua.getApp(TextEdit); // 2. 一批确定性的操作顺序执行即可 await app.click(2); // 从刚打印的状态里找到目标元素的索引 await app.typeText(由脚本写入的自动化文本); await app.pressKey(Return); // 3. 同一个 js 调用里读回最终状态一次往返完成校验 await app.getAXState();这个例子体现了代码优先模式最重要的两个习惯把确定性操作批量放在一次调用里最后用一次getAXState()读取结果而不是每一步都单独往返界面发生导航或布局变化后重新从新状态里推导元素索引——旧索引在界面刷新后会失效。如果你想看更贴近真实回归场景的批量调用编排可以参考仓库里的示例序列文件 examples/textedit-overlay-seq.json它演示了get_app_state、set_value、click交替执行的多步序列。性能技巧关闭动作后自动回读 ⚡原生动作工具默认在每次操作后等待约 150ms 并回传一张新快照。但在脚本批量操作时这种每步回读是纯浪费。Open Computer Use 的 JS 适配器会以OPEN_COMPUTER_USE_ACTION_READ_BACK0启动原生运行时动作只返回简短状态不做等待、不带快照整批操作结束后由你显式调用一次getAXState()读取最终结果。官方给出的实测数据macOS 上连续 10 次点击从原来的数秒降到约一次状态读取的时间。这也是为什么 API 指南反复强调在同一个 js 调用里完成动作 回读。交互调试用 ocu repl 边写边试写脚本卡住了ocu repl开启一个持久化的交互式 JavaScript 会话顶层变量和cua应用绑定都会跨命令保留非常适合逐行调试ocu repl会话内常用点命令.help—— 查看帮助.editor/.end—— 进入多行编辑模式写多行脚本片段.reset—— 丢弃所有 JS 绑定并重建内核注意不会关闭已打开的应用.exit或 Ctrl-D—— 退出并关闭内核。绑定一旦建立就持久存在直到.reset或退出js_reset工具则用于 MCP 侧的会话重置。安全须知脚本能做什么就要对什么负责 请务必了解这个边界js是本地 Node.js 代码执行不是受限表达式语言。它拥有启动进程的完整权限可以访问本地文件系统、环境变量、模块和网络。官方文档给出的建议是只在你信任代码执行策略的主机上启用 REPL 表面。好消息是底层安全门依然有效——原生 Computer Use 调用保留着密码管理器黑名单和全局指针操作的显式授权门槛这些与 JS 层无关、始终生效。如果你所在的宿主不接受任意 JavaScript 边界可以改用ocu mcp保留的原生 9 工具兼容面list_apps、get_app_state、click、scroll、drag、type_text、press_key、set_value、perform_secondary_action。写在最后三种入口怎么选 入口生命周期适合谁ocu js单次求值执行完即退出正式脚本、CI 自动化ocu repl当前终端会话探索 API、调试ocu mcp当前 MCP 连接接入 AI 客户端Codex、Claude、Gemini CLI 等macOS 上这些短命的 CLI 层会把自动化请求代理给隐藏的权限代理应用它可能常驻以复用同一套权限身份——这是正常现象与 JS Worker 和 MCP 子进程相互独立。从npm i -g open-computer-use到ocu js --file ./automation.mjs你现在已经掌握了完整的链路。建议的路径是先在ocu repl里熟悉cua.getApp和状态回读再把稳定下来的逻辑沉淀成.mjs脚本文件。更多细节读回机制、进程生命周期、安全边界都可以查阅 docs/references/js-repl.md 与 skills/open-computer-use/references/usage.md。【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Open Computer Use 代码优先玩法：ocu js 与 cua 异步 API 自动化脚本编写完整教程
Open Computer Use 代码优先玩法ocu js 与 cua 异步 API 自动化脚本编写完整教程【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-useOpen Computer Use 是一个开源的 Computer Use 桌面自动化服务支持 macOS、Linux 和 Windows。除了把它接入 AI 客户端当 MCP 服务器用它还有一个更极客的玩法通过 npm 命令ocu js直接在命令行里跑 JavaScript 自动化脚本配合内置的cua 异步 API几行代码就能完成读取界面 → 点击 → 输入 → 校验的完整桌面操作流程。本文就是 ocu js 与 cua API 的完整教程从零开始带你写出第一个桌面自动化脚本。为什么选代码优先一条 JS 调用顶十次工具调用传统的 MCP 工具调用方式下每做一步操作查状态、点击、输入……都要和模型或宿主之间往返一次流程长、速度慢、中间状态反复序列化。而 Open Computer Use 官方提供的**代码优先code-first**玩法让你在一段 JavaScript 里把检查 → 操作 → 再检查 → 分支 → 重试 → 校验全部本地编排完成一次js调用就把整段流程跑完。这套设计对齐了官方 Computer Use 的代码优先工作流完整背景可以读参考文档docs/references/js-repl.md。核心架构分四层持久化 Node.js REPL—— 持有顶层变量绑定和顶层await异步的cuaAPI—— 把 JavaScript 调用翻译成原生 MCP 请求原生运行时Swift / Go / Python—— 负责应用发现、截图、无障碍树和输入模拟Worker 边界—— 超时时可以安全终止 CPU 占满的脚本并重建内核。一键安装3 步完成环境准备 第 1 步全局安装 npm 包npm i -g open-computer-use安装后会自动注册短命令ocu两个名字可以互换使用。npm 启动器要求 Node.js 18 或更高版本macOS 运行时要求 macOS 14.0 及以上。第 2 步授予权限仅 macOS首次运行一次ocu按提示授予Accessibility辅助功能和Screen Recording屏幕录制权限即可。Windows 与 Linux 无需此步骤。第 3 步运行环境体检写脚本前先做一次能力检查确认 Node、REPL 适配器、JS 内核和原生运行时都可用ocu capabilities # 想要结构化的 JSON 报告 ocu capabilities --json命令会逐项报告组件可用性即使某个组件缺失js/repl命令依然会显示在帮助里并标注缺失原因方便排查。能力检测逻辑位于 scripts/node-repl/open-computer-use-cli.mjsREPL 适配器实现在 scripts/node-repl/open-computer-use-repl.mjs。ocu js 的三种用法命令行、管道与文件ocu js用于执行一段 JavaScript 求值支持顶层await和已初始化的cuaAPI执行完即关闭 Worker 和原生 MCP 子进程。它接受三种输入来源按需选择用法命令示例适用场景命令行参数ocu js nodeRepl.write(6 * 7)快速验证一行表达式标准输入-printf %s nodeRepl.write(6*7) \| ocu js -从管道注入代码脚本文件ocu js --file ./automation.mjs正式的自动化脚本常用参数--timeout 毫秒执行超时默认 30000ms上限 300000ms--json以 JSON 形式输出求值结果方便被其他脚本消费。最小示例列出当前系统里的应用但不把结果发射给模型输出只写到本地var apps await cua.listApps({ emit: false }); nodeRepl.write(apps)listApps()返回规范化的应用数组每项包含{ id, displayName, lastUsedDate?, useCount?, isRunning? }是脚本里做应用筛选的第一站。认识 cua 异步 API桌面操作的瑞士军刀 cua API 是一组异步的、与应用绑定的方法。绑定一个应用后后续操作都挂在这个应用对象上天然避免了点错窗口var app await cua.getApp(TextEdit); // 绑定应用并自动输出初始无障碍状态 await app.click(12); // 点击元素索引 12 await app.typeText(Hello); // 输入文本 await app.getAXState(); // 读取最新的界面状态cua.getApp(...)接受应用名或 Bundle ID与原生运行时一致。应用对象上暴露的完整方法清单如下方法说明getAXState(options?)读取无障碍树文本快照getScreenshot(options?)截取应用画面getAXStateAndScreenshot(options?)一次拿状态加截图click(elementIndexOrPoint, options?)点击元素索引或坐标drag([fromX, fromY], [toX, toY])拖拽pressKey(key)按键scroll(elementIndex, direction, pages?)滚动setValue(elementIndex, value)设置输入框值typeText(text)逐字输入performSecondaryAction(elementIndex, action)触发元素次级操作全局层面还有两个发现类方法await cua.getState()返回{ apps }和await cua.listApps()。所有观察类方法默认会发射结果如果代码只需要值、不想刷屏就传{ emit: false }。额外输出用nodeRepl.write(value)写文本、await nodeRepl.emitImage(image)发图片支持 data URL 或字节。完整示例给 TextEdit 写一段自动化脚本下面是一个可直接运行的脚本骨架演示绑定 → 操作 → 校验的标准三步曲。把它保存为automation.mjs用ocu js --file ./automation.mjs执行// 1. 绑定 TextEdit初始状态会自动打印出来 var app await cua.getApp(TextEdit); // 2. 一批确定性的操作顺序执行即可 await app.click(2); // 从刚打印的状态里找到目标元素的索引 await app.typeText(由脚本写入的自动化文本); await app.pressKey(Return); // 3. 同一个 js 调用里读回最终状态一次往返完成校验 await app.getAXState();这个例子体现了代码优先模式最重要的两个习惯把确定性操作批量放在一次调用里最后用一次getAXState()读取结果而不是每一步都单独往返界面发生导航或布局变化后重新从新状态里推导元素索引——旧索引在界面刷新后会失效。如果你想看更贴近真实回归场景的批量调用编排可以参考仓库里的示例序列文件 examples/textedit-overlay-seq.json它演示了get_app_state、set_value、click交替执行的多步序列。性能技巧关闭动作后自动回读 ⚡原生动作工具默认在每次操作后等待约 150ms 并回传一张新快照。但在脚本批量操作时这种每步回读是纯浪费。Open Computer Use 的 JS 适配器会以OPEN_COMPUTER_USE_ACTION_READ_BACK0启动原生运行时动作只返回简短状态不做等待、不带快照整批操作结束后由你显式调用一次getAXState()读取最终结果。官方给出的实测数据macOS 上连续 10 次点击从原来的数秒降到约一次状态读取的时间。这也是为什么 API 指南反复强调在同一个 js 调用里完成动作 回读。交互调试用 ocu repl 边写边试写脚本卡住了ocu repl开启一个持久化的交互式 JavaScript 会话顶层变量和cua应用绑定都会跨命令保留非常适合逐行调试ocu repl会话内常用点命令.help—— 查看帮助.editor/.end—— 进入多行编辑模式写多行脚本片段.reset—— 丢弃所有 JS 绑定并重建内核注意不会关闭已打开的应用.exit或 Ctrl-D—— 退出并关闭内核。绑定一旦建立就持久存在直到.reset或退出js_reset工具则用于 MCP 侧的会话重置。安全须知脚本能做什么就要对什么负责 请务必了解这个边界js是本地 Node.js 代码执行不是受限表达式语言。它拥有启动进程的完整权限可以访问本地文件系统、环境变量、模块和网络。官方文档给出的建议是只在你信任代码执行策略的主机上启用 REPL 表面。好消息是底层安全门依然有效——原生 Computer Use 调用保留着密码管理器黑名单和全局指针操作的显式授权门槛这些与 JS 层无关、始终生效。如果你所在的宿主不接受任意 JavaScript 边界可以改用ocu mcp保留的原生 9 工具兼容面list_apps、get_app_state、click、scroll、drag、type_text、press_key、set_value、perform_secondary_action。写在最后三种入口怎么选 入口生命周期适合谁ocu js单次求值执行完即退出正式脚本、CI 自动化ocu repl当前终端会话探索 API、调试ocu mcp当前 MCP 连接接入 AI 客户端Codex、Claude、Gemini CLI 等macOS 上这些短命的 CLI 层会把自动化请求代理给隐藏的权限代理应用它可能常驻以复用同一套权限身份——这是正常现象与 JS Worker 和 MCP 子进程相互独立。从npm i -g open-computer-use到ocu js --file ./automation.mjs你现在已经掌握了完整的链路。建议的路径是先在ocu repl里熟悉cua.getApp和状态回读再把稳定下来的逻辑沉淀成.mjs脚本文件。更多细节读回机制、进程生命周期、安全边界都可以查阅 docs/references/js-repl.md 与 skills/open-computer-use/references/usage.md。【免费下载链接】open-codex-computer-use Open Computer Use – Open-Source Alternative to Codex Computer Use项目地址: https://gitcode.com/gh_mirrors/op/open-codex-computer-use创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考