尧图网页设计 
一句话驱动真实操作VisionClaw execute工具调用与Agent技能路由原理详解【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClawVisionClaw 是一款面向 Meta Ray-Ban 智能眼镜的实时 AI 助手它让 AI 能看见你所见、听懂你所言并通过execute 工具调用与Agent 技能路由机制把你的日常口语指令如给 John 发消息说我晚点到转化为真实的账号操作。本文面向新手用最少的代码、最多的直觉讲清楚这句话背后完整的技术链路从语音识别到工具调用再到技能路由与云端执行。一句话如何变成真实操作7步全链路很多人以为AI 助手只会聊天。VisionClaw 的不同之处在于它把说一句话变成了办成一件事。以把牛奶加到购物清单为例完整链路如下 你对着眼镜说一句话音频16kHz PCM 摄像头画面约 1 帧/秒 JPEG实时推给Gemini LiveGemini 先口头确认一句好的马上加避免静默调用工具Gemini 发出一个execute(task: 把牛奶加到购物清单)的toolCall工具路由层把这个调用转发给后端的Gateway本地 OpenClaw 或云端托管网关网关驱动 Agent 技能库56 技能网页搜索、消息、智能家居、备忘录、提醒等真正执行任务执行结果以toolResponse原路返回给模型️ Gemini 用自然语音把结果念给你听。官方架构总览图音频与画面上行、工具调用与语音应答下行的双向流这套链路在仓库中最直观的说明位于 README.md 的 Tool Calling 一节。execute 工具详解你的个人账号 Agent在 Voice Agent 工作进程中execute是一个标准的函数式工具function tool它的说明书docstring就是告诉大模型什么任务该用我✅ 适合发送消息与邮件、管理清单和提醒、Google 日历、Notion 页面与数据库、Slack、通用网络调研、智能家居控制——一切发生在用户自己已连接账号里的操作❌ 不适合打开购物网站、在网站上下单/加购物车——这类任务属于browse 特殊参数attach_viewtrue当任务与你正对着镜头拍的东西有关时读标签、读收据、读传单系统会自动把当前摄像头帧随任务一起发出去让 Agent 直接看图干活。核心实现入口agent/main.py。可以看到执行分两步先按attach_view决定是否编码最新画面再调用_gateway_execute把任务可附带 base64 图片投递给网关结果通过共享的慢速任务委托循环异步等待——即使任务耗时数分钟语音层也不会被卡死。Agent 技能路由原理三把刀各司其职VisionClaw 的精华在于技能路由skill routing模型不是一把锤子敲所有钉子而是被明确告知三把工具各管一摊。这段路由规则写在 Agent 的系统指令中见 agent/main.py工具职责典型场景速度quick_search快速事实查询天气、股价、新闻、营业时间秒级browse真实浏览器操作computer-use电商加购、预订、填表单、比价较慢execute个人已连接账号内操作发消息、日历、Notion、智能家居视任务而定路由的边界规则非常讲究例如指令里专门写了一条容易误判的场景用户说帮我加进 Amazon 购物车听起来像行动但因为是网站上的行为必须走browse而不是execute反过来存到我的 Notion则是典型的execute。browse的完整定义见 agent/main.py它还内置了防抖逻辑——上一个浏览任务没跑完时拒绝重复启动避免重复扣费。对新手来说理解这套路由的价值在于你不需要记任何命令语法说人话即可模型负责把意图分到正确的执行通道。云端 Gatewayexecute 任务在哪里落地execute的终点是 Gateway。仓库中的 gateway/ 是一个托管版行动 Agent它向上说与 iOS/Android App 完全一致的协议OpenAI 兼容接口 WebSocket 事件通道向下驱动 Agent 执行框架为每个用户维护独立的会话、长期记忆库和凭据保险库OAuth 令牌集中保管、自动刷新。三个对体验至关重要的设计双速回合Two-speed turnsexecute类任务最多等 30 秒超时立即先回一句还在处理最终结果稍后经 WebSocket 推回由语音层补说给你——长任务绝不阻塞对话应用连接即技能扩展每个可连接的 AppNotion、Slack、Google 日历等都是一次性声明的 MCP 服务器注册入口在 gateway/src/apps.ts连接后该用户的所有工具调用都以其本人身份、其本人权限执行全链路可追溯每次工具调用都会记录为 trace 事件只记附了图从不记录图片本身方便复盘与调试见 gateway/src/trace.ts。服务端入口逻辑可参考 gateway/src/server.ts部署说明见 gateway/README.md。上手体验没有眼镜也能玩想亲手验证这条链路用 iPhone/Android 手机模式即可无需眼镜克隆仓库git clone https://gitcode.com/gh_mirrors/vi/VisionClaw打开samples/CameraAccess/iOS或samples/CameraAccessAndroid/Android复制Secrets示例文件填入 Gemini API Key点Start on iPhone / Phone再点 AI 按钮开始对话——AI 就能通过手机后置摄像头看你并把指令路由到 execute/browse/quick_search 执行。完整快速上手与故障排查请看 README.md。总结VisionClaw 用一个execute工具 一套清晰的技能路由解决了语音助手只会说不会做的老问题意图即路由自然语言指令被模型分派到 execute个人账号、browse网站操作、quick_search事实查询三条通道⚡不阻塞的长任务双速回合机制让办大事和聊天互不干扰身份隔离每个用户独立会话、记忆与凭据Agent 替你操作时用的是你自己的账号和权限。下一篇文章我们可以深入browse工具如何驱动真实浏览器完成购物下单——欢迎继续关注。【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一句话驱动真实操作：VisionClaw execute工具调用与Agent技能路由原理详解
一句话驱动真实操作VisionClaw execute工具调用与Agent技能路由原理详解【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClawVisionClaw 是一款面向 Meta Ray-Ban 智能眼镜的实时 AI 助手它让 AI 能看见你所见、听懂你所言并通过execute 工具调用与Agent 技能路由机制把你的日常口语指令如给 John 发消息说我晚点到转化为真实的账号操作。本文面向新手用最少的代码、最多的直觉讲清楚这句话背后完整的技术链路从语音识别到工具调用再到技能路由与云端执行。一句话如何变成真实操作7步全链路很多人以为AI 助手只会聊天。VisionClaw 的不同之处在于它把说一句话变成了办成一件事。以把牛奶加到购物清单为例完整链路如下 你对着眼镜说一句话音频16kHz PCM 摄像头画面约 1 帧/秒 JPEG实时推给Gemini LiveGemini 先口头确认一句好的马上加避免静默调用工具Gemini 发出一个execute(task: 把牛奶加到购物清单)的toolCall工具路由层把这个调用转发给后端的Gateway本地 OpenClaw 或云端托管网关网关驱动 Agent 技能库56 技能网页搜索、消息、智能家居、备忘录、提醒等真正执行任务执行结果以toolResponse原路返回给模型️ Gemini 用自然语音把结果念给你听。官方架构总览图音频与画面上行、工具调用与语音应答下行的双向流这套链路在仓库中最直观的说明位于 README.md 的 Tool Calling 一节。execute 工具详解你的个人账号 Agent在 Voice Agent 工作进程中execute是一个标准的函数式工具function tool它的说明书docstring就是告诉大模型什么任务该用我✅ 适合发送消息与邮件、管理清单和提醒、Google 日历、Notion 页面与数据库、Slack、通用网络调研、智能家居控制——一切发生在用户自己已连接账号里的操作❌ 不适合打开购物网站、在网站上下单/加购物车——这类任务属于browse 特殊参数attach_viewtrue当任务与你正对着镜头拍的东西有关时读标签、读收据、读传单系统会自动把当前摄像头帧随任务一起发出去让 Agent 直接看图干活。核心实现入口agent/main.py。可以看到执行分两步先按attach_view决定是否编码最新画面再调用_gateway_execute把任务可附带 base64 图片投递给网关结果通过共享的慢速任务委托循环异步等待——即使任务耗时数分钟语音层也不会被卡死。Agent 技能路由原理三把刀各司其职VisionClaw 的精华在于技能路由skill routing模型不是一把锤子敲所有钉子而是被明确告知三把工具各管一摊。这段路由规则写在 Agent 的系统指令中见 agent/main.py工具职责典型场景速度quick_search快速事实查询天气、股价、新闻、营业时间秒级browse真实浏览器操作computer-use电商加购、预订、填表单、比价较慢execute个人已连接账号内操作发消息、日历、Notion、智能家居视任务而定路由的边界规则非常讲究例如指令里专门写了一条容易误判的场景用户说帮我加进 Amazon 购物车听起来像行动但因为是网站上的行为必须走browse而不是execute反过来存到我的 Notion则是典型的execute。browse的完整定义见 agent/main.py它还内置了防抖逻辑——上一个浏览任务没跑完时拒绝重复启动避免重复扣费。对新手来说理解这套路由的价值在于你不需要记任何命令语法说人话即可模型负责把意图分到正确的执行通道。云端 Gatewayexecute 任务在哪里落地execute的终点是 Gateway。仓库中的 gateway/ 是一个托管版行动 Agent它向上说与 iOS/Android App 完全一致的协议OpenAI 兼容接口 WebSocket 事件通道向下驱动 Agent 执行框架为每个用户维护独立的会话、长期记忆库和凭据保险库OAuth 令牌集中保管、自动刷新。三个对体验至关重要的设计双速回合Two-speed turnsexecute类任务最多等 30 秒超时立即先回一句还在处理最终结果稍后经 WebSocket 推回由语音层补说给你——长任务绝不阻塞对话应用连接即技能扩展每个可连接的 AppNotion、Slack、Google 日历等都是一次性声明的 MCP 服务器注册入口在 gateway/src/apps.ts连接后该用户的所有工具调用都以其本人身份、其本人权限执行全链路可追溯每次工具调用都会记录为 trace 事件只记附了图从不记录图片本身方便复盘与调试见 gateway/src/trace.ts。服务端入口逻辑可参考 gateway/src/server.ts部署说明见 gateway/README.md。上手体验没有眼镜也能玩想亲手验证这条链路用 iPhone/Android 手机模式即可无需眼镜克隆仓库git clone https://gitcode.com/gh_mirrors/vi/VisionClaw打开samples/CameraAccess/iOS或samples/CameraAccessAndroid/Android复制Secrets示例文件填入 Gemini API Key点Start on iPhone / Phone再点 AI 按钮开始对话——AI 就能通过手机后置摄像头看你并把指令路由到 execute/browse/quick_search 执行。完整快速上手与故障排查请看 README.md。总结VisionClaw 用一个execute工具 一套清晰的技能路由解决了语音助手只会说不会做的老问题意图即路由自然语言指令被模型分派到 execute个人账号、browse网站操作、quick_search事实查询三条通道⚡不阻塞的长任务双速回合机制让办大事和聊天互不干扰身份隔离每个用户独立会话、记忆与凭据Agent 替你操作时用的是你自己的账号和权限。下一篇文章我们可以深入browse工具如何驱动真实浏览器完成购物下单——欢迎继续关注。【免费下载链接】VisionClawReal-time AI assistant for Meta Ray-Ban smart glasses -- voice vision agentic actions via Gemini Live and OpenClaw项目地址: https://gitcode.com/gh_mirrors/vi/VisionClaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考