ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

CUA CLI 命令参考:`cua do` 与 `cua trajectory` 完整参数速查与实战指南

CUA CLI 命令参考:`cua do` 与 `cua trajectory` 完整参数速查与实战指南 CUA CLI 命令参考cua do与cua trajectory完整参数速查与实战指南【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua导读本文是 CUA 项目中 GUI 自动化能力gui-automation skill的配套命令速查手册系统梳理cua do一次性 VM 自动化操作与cua trajectory轨迹录制与回放两大命令族的完整参数语法。你可以在云端 VM、Docker 容器、本地宿主机与沙箱环境之间自由切换目标并借助截图、AI 屏幕摘要、窗口缩放、鼠标键盘输入与窗口管理完成端到端 GUI 操作最后把全程轨迹一键导出为可分享链接或 HTML 报告。读完本文你将掌握从选择目标到分享轨迹的完整命令面并理解每个参数在源码中的实际实现。全局标志--no-recordFlag作用--no-record对当前这条命令禁用轨迹录制用法cua do --no-record action [args]默认情况下每次cua do操作都会被自动录制到本地轨迹目录见 trajectory_recorder.py路径结构为~/.cua/trajectories/{machine_name}/{YYYYMMDD-HHMMSS}/。当你执行敏感或噪声操作、不希望其进入回放记录时可在单条命令前加--no-record。在 do.py 中该参数被定义为actionstore_true的开关量并在命令分发前do.py被读取决定本次调用是否写入轨迹。目标管理Target Management切换目标cua do switch provider [name]支持的 Providercloud/cloudv2—— 云端 VMdocker—— Docker 容器lume/lumier—— 本地虚拟化 VMwinsandbox—— Windows 沙箱host—— 本地宿主机要点除host和winsandbox外其余 Provider 都必须提供name。目标选择会被持久化到~/.cua/do_target.json只需设置一次后续所有cua do操作都作用于该目标直到再次switch。源码中 Provider 常量定义于 do.pyPROVIDERS (cloud, cloudv2, local, lume, lumier, docker, winsandbox, host)其中_REMOTE_PROVIDERS标记了远程类 Provider。状态文件的读写由_load_state/_save_state/_update_statedo.py实现采用 JSON 格式持久化目标与缩放状态。host模式要求先完成一次性授权见下文 Host Consent未选中目标时命令会直接失败并提示No VM selected. Run: cua do switch provider [name]do.py。查看状态cua do status显示当前目标target以及缩放zoom状态。缩放状态同样保存在~/.cua/do_target.json中。列出 VMcua do ls [provider]列出某个 Provider 下的所有 VM。省略provider时使用当前目标的 Provider。宿主机授权Host Consentcua do-host-consent一次性授权允许 AI 控制本地机器。执行后在~/.cua/host_consented创建标记文件之后才可执行cua do switch host。源码侧由_HOST_CONSENT_FILE Path.home() / .cua / host_consenteddo.py与_host_consented()检查do.py实现switch host之前未授权会直接失败。截图与快照Screenshot and Snapshot截图cua do screenshot [--save PATH]截取目标机器屏幕返回图片路径。若提供--save或短选项-s则将图片保存到指定路径而非默认临时目录。源码中该参数定义为ss.add_argument(--save, -s, metavarPATH)do.py。截图输出有最大像素边长限制MAX_LENGTH 1200见 do.py。AI 快照cua do snapshot [extra instructions]截图 AI 驱动的屏幕摘要返回 JSON 对象summary屏幕的人类可读描述elements可交互元素列表包含name、type、x、y前置条件需要设置ANTHROPIC_API_KEY。可选指令用于细化 AI 的聚焦范围例如cua do snapshot focus on the form fields。如果没有 API Key则退化为使用screenshot自行读图见 SKILL.md 的说明。源码中该子命令通过sn.add_argument(instructions, nargs*, ...)接收可变数量的附加指令do.py。窗口缩放Window Zoomcua do zoom Window Name将后续所有截图裁剪到指定命名的窗口范围内坐标系统随之切换为窗口相对坐标。适合聚焦单个应用、提升小元素点击精度。cua do unzoom恢复全屏截图与全屏坐标。缩放状态bbox display scale会被持久化到~/.cua/do_target.json见 do.py。实战中建议不确定点击精度时先zoom完成后unzoom恢复参考 SKILL.md 的 Zoom 场景。输入动作Input Actions点击cua do click x y [left|right|middle]在图像空间坐标处点击。默认按钮为left。源码中按钮参数默认为left可选left/right/middledo.py。双击cua do dclick x y在图像空间坐标处双击。移动光标cua do move x y将光标移动到图像空间坐标不产生点击。输入文本cua do type text输入一段文本支持任意 Unicode 字符。适合表单填写与模糊测试注入。按键cua do key key按下单个按键。常见键名enter、escape、tab、space、backspace、delete、up、down、left、right、home、end、pageup、pagedown、f1–f12。热键cua do hotkey combo按下组合快捷键使用连接修饰键。示例cmdc、ctrlshifts、altf4、cmdshiftp。滚动cua do scroll direction [amount]向指定方向滚动。默认滚动量3。方向up、down、left、right。源码中amount默认值为3sc.add_argument(amount, nargs?, typeint, default3)见 do.py。拖拽cua do drag x1 y1 x2 y2从(x1, y1)拖拽到(x2, y2)均为图像空间坐标。四个参数均为intdo.py。Shell 与打开Shell and OpenShell 命令cua do shell command在目标机器上执行 shell 命令。若未提供命令则打开一个交互式终端会话。可选参数--cols N—— 终端宽度默认自动探测--rows N—— 终端高度默认自动探测源码中该子命令接收argparse.REMAINDER形式的剩余参数并把--cols/--rows默认设为None以触发自动探测do.py。打开 URL / 文件cua do open url|path在目标机器的默认浏览器中打开 URL或用默认应用打开文件路径。窗口管理Window Management所有窗口命令位于cua do window子命令族之下do.py列出窗口cua do window ls [app]列出所有窗口可指定app按应用名过滤。返回的窗口 ID 是其他窗口命令的入参。聚焦 / 激活cua do window focus id cua do window activate id将窗口置于前台。取消聚焦cua do window unfocus移除当前窗口的焦点。最小化 / 最大化 / 关闭cua do window minimize id cua do window maximize id cua do window close id调整大小cua do window resize id width height移动cua do window move id x y查看信息cua do window info id获取窗口的位置、尺寸、标题等详情。源码中focus/activate/minimize/maximize/close共用同一循环定义、均接收window_id参数resize额外接收width/heightmove额外接收x/ydo.py。窗口管理可与缩放、拖拽组合使用例如先cua do window ls找到目标窗口再执行拖拽见 SKILL.md。轨迹命令Trajectory Commands所有轨迹命令位于cua trajectory之下别名cua traj。轨迹默认录制到~/.cua/trajectories/{machine}/{session}/见 trajectory_recorder.py 与 SKILL.md 的 Trajectory 章节。列出会话cua trajectory ls [machine] [--json]列出所有已录制会话可按机器名过滤--json输出结构化 JSON。源码中的list_trajectories(machineNone)trajectory_recorder.py为底层实现。本地查看cua trajectory view [target] [--port PORT]将会话打包并在浏览器中通过轨迹查看器打开会启动一个本地文件服务器默认端口8089。target可以是机器名、会话时间戳或目录路径缺省时使用最新会话。--port PORT指定本地服务器端口。分享上传cua trajectory share [target] [--no-open] [--api-url URL]上传轨迹并获取可分享的 HTTPS 链接默认在浏览器中打开该链接。--no-open—— 上传后不打开浏览器--api-url—— 自定义 API 地址默认取CUA_API_URL环境变量否则回退到默认服务地址SKILL.md 建议在每次会话结束时执行cua trajectory share并告知用户Here is the trajectory of my session: {url}。导出 HTMLcua trajectory export [target] [--output PATH] [--quality N] [--no-open]生成自包含的 HTML 报告。--output/-o—— 输出文件路径默认会话目录下的report.html--quality/-q—— JPEG 压缩质量 1–100默认75--no-open—— 不自动在浏览器打开报告清理cua trajectory clean [--older-than DAYS] [--machine NAME] [-y]删除旧的轨迹会话。--older-than DAYS—— 仅删除早于 N 天的会话--machine NAME—— 仅删除指定机器的会话-y/--yes—— 跳过确认提示源码中对应clean_trajectories(...)trajectory_recorder.py按时间与机器维度过滤后批量清理。停止服务器cua trajectory stop停止由cua trajectory view启动的本地轨迹文件服务器。完整工作流示例结合 SKILL.md 的 Look → Act → Verify 模式一段典型的端到端会话如下# 1. 安装检查与目标连接三选一 cua --version # 若未安装pip install cua cua do switch cloud my-vm # 云端 VM cua do switch docker my-container # Docker 容器 cua do-host-consent cua do switch host # 本地机器一次性授权 # 2. Look → Act → Verify 循环 cua do screenshot # 观察 cua do click 450 280 # 执行 cua do screenshot # 验证 # 3. 窗口缩放提升小目标点击精度 cua do zoom Google Chrome cua do click 112 44 cua do unzoom # 4. 表单填写 cua do click 400 200 cua do type Jane Doe cua do key tab cua do type janeexample.com # 5. 会话收尾分享与清理 cua trajectory share # 生成可分享 HTTPS 链接 cua trajectory export # 导出 HTML 报告 cua trajectory clean --older-than 30 -y # 清理 30 天前的旧会话实践提醒每次界面变化后都应重新截图——屏幕一旦变化旧坐标即失效见 SKILL.md。源码印证与进一步阅读do.py ——cua do命令族的完整实现Provider 常量、目标状态文件读写、宿主授权检查、全部子命令的 argparse 定义与分发逻辑execute()中的 dispatch 表do.py。trajectory_recorder.py —— 轨迹录制、会话列举、清理与回放的底层实现。SKILL.md —— 本文档的配套使用指南包含按场景编排的完整命令组合按钮点击、表单填写、文件上传、拖拽、模糊测试等文末的 Quick Reference 表可直接对照本手册。pyproject.toml ——cua包的安装与依赖声明。本命令参考覆盖了cua do与cua trajectory的全部参数面从目标选择、授权、截图/快照、缩放、输入动作到窗口管理与轨迹生命周期可作为日常 GUI 自动化操作与 Agent 工具调用的速查底稿。【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表