尧图网页设计 
zclaw性能基准测试如何测量ESP32 AI助手从Telegram到响应的真实延迟【免费下载链接】zclawYour personal AI assistant at all-in 888KiB (~35KB in app code). Running on an ESP32. GPIO, cron, custom tools, memory, and more.项目地址: https://gitcode.com/gh_mirrors/zc/zclawzclaw 是运行在 ESP32 上的迷你个人 AI 助手整个固件仅约 888 KiB支持 Telegram 对话、GPIO、定时任务和自定义工具。想要量化「从 Telegram 发一条消息到收到回复」的真实耗时吗本项目自带了一键式性能基准测试脚本无需任何额外工具几分钟就能测出主机耗时、设备侧 LLM 耗时和工具执行耗时的完整分解。为什么需要测量 AI 助手的真实延迟对运行在 ESP32 这样的小硬件上的 AI 助手来说延迟直接决定了使用体验。一条 Telegram 消息的完整链路其实是多段耗时的叠加阶段说明网络传输Telegram → 设备WiFiLLM 调用设备向云端模型 API 发起请求并等待回复工具执行助手调用 GPIO、I2C、记忆等本地工具回复回传设备 → Telegram只测「总耗时」无法定位瓶颈。zclaw 的基准测试工具会把链路拆开主机侧测总耗时固件侧通过日志输出各阶段耗时自动完成归因分析。一行命令启动 zclaw 性能基准测试进入项目目录后只需运行基准测试启动脚本 scripts/benchmark.sh实际逻辑由 scripts/benchmark_latency.py 实现# Relay 模式走 Web Relay 的 HTTP 全链路 ./scripts/benchmark.sh --mode relay --count 20 --message ping # 串口模式直接通过串口与设备对话 ./scripts/benchmark.sh --mode serial --serial-port /dev/cu.usbmodem1101 --count 20 --message ping两种模式覆盖不同场景Relay 模式请求经 Web Relayscripts/web_relay.py转发到设备测的是真实 HTTP 全链路响应 JSON 中的elapsed_ms字段即 Relay 侧统计的耗时。串口模式绕过网络直接发送提示词适合测量设备本身的响应能力还会额外报告「首响应时间」。让测量更可信的 4 个关键参数参数默认值作用--count10正式测量次数建议 ≥20 以获得稳定的 p90/p95--warmup1预热请求排除首次请求的缓存/连接建立开销--append-counter关给每条提示词追加递增序号如ping 1、ping 2避免相同消息被缓存命中导致延迟被低估--interval-ms250请求间隔防止触发限流 做压测时尤其建议加上--append-counter这是获得「真实延迟」而非「缓存延迟」的关键小技巧。看懂基准测试输出的延迟指标测试结束后脚本会按min / p50 / p90 / p95 / max / mean统计输出各指标典型指标包括Host total主机测得的端到端总耗时Relay elapsedRelay 服务端统计的转发耗时First response串口模式下收到首行回复的时间Device total / Device LLM / Device tools固件自报的设备侧总耗时、LLM 调用耗时和工具执行耗时。设备侧数据来自固件在 main/agent.c 中打印的METRIC request日志行含total_ms、llm_ms、tool_ms、rounds等字段。当三个阶段齐全时脚本还会输出归因分析例如「LLM 占 82%本地逻辑占 18%」——帮你一眼判断延迟究竟花在了云端 API 还是设备本身。实测建议与常见坑固定网络环境WiFi 信号、AP 负载都会影响 Relay 模式结果对比测试时保持同一环境。先预热再测量保持默认--warmup 1或手动多预热一次避免 TCP/TLS 握手时间混入统计。用简单提示词做基线ping这类短消息适合测基础设施延迟换成长提示词测的是 LLM 生成速度两者不要混在一起看。结果要连 outcome 一起看串口模式会统计Device outcomes成功/失败次数失败样本会拉高 max 值先看成功率再谈延迟。相关源码与文档基准测试入口scripts/benchmark.sh测试执行器参数、统计、归因逻辑scripts/benchmark_latency.py设备侧耗时采集main/agent.cWeb Relay 的elapsed_ms统计scripts/web_relay.py单元测试消息计数、预热序列test/host/test_benchmark_latency.py完整用法说明docs-site/reference/README_COMPLETE.md小结⚡ 借助 zclaw 自带的性能基准测试你可以用一行命令测出 ESP32 AI 助手从 Telegram 到响应的真实延迟并自动拆分出 LLM 调用与本地工具执行的耗时占比。无论是验证固件改动、还是评估网络环境对助手体验的影响这套工具都提供了足够可靠的量化依据。【免费下载链接】zclawYour personal AI assistant at all-in 888KiB (~35KB in app code). Running on an ESP32. GPIO, cron, custom tools, memory, and more.项目地址: https://gitcode.com/gh_mirrors/zc/zclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 zclaw性能基准测试：如何测量ESP32 AI助手从Telegram到响应的真实延迟
zclaw性能基准测试如何测量ESP32 AI助手从Telegram到响应的真实延迟【免费下载链接】zclawYour personal AI assistant at all-in 888KiB (~35KB in app code). Running on an ESP32. GPIO, cron, custom tools, memory, and more.项目地址: https://gitcode.com/gh_mirrors/zc/zclawzclaw 是运行在 ESP32 上的迷你个人 AI 助手整个固件仅约 888 KiB支持 Telegram 对话、GPIO、定时任务和自定义工具。想要量化「从 Telegram 发一条消息到收到回复」的真实耗时吗本项目自带了一键式性能基准测试脚本无需任何额外工具几分钟就能测出主机耗时、设备侧 LLM 耗时和工具执行耗时的完整分解。为什么需要测量 AI 助手的真实延迟对运行在 ESP32 这样的小硬件上的 AI 助手来说延迟直接决定了使用体验。一条 Telegram 消息的完整链路其实是多段耗时的叠加阶段说明网络传输Telegram → 设备WiFiLLM 调用设备向云端模型 API 发起请求并等待回复工具执行助手调用 GPIO、I2C、记忆等本地工具回复回传设备 → Telegram只测「总耗时」无法定位瓶颈。zclaw 的基准测试工具会把链路拆开主机侧测总耗时固件侧通过日志输出各阶段耗时自动完成归因分析。一行命令启动 zclaw 性能基准测试进入项目目录后只需运行基准测试启动脚本 scripts/benchmark.sh实际逻辑由 scripts/benchmark_latency.py 实现# Relay 模式走 Web Relay 的 HTTP 全链路 ./scripts/benchmark.sh --mode relay --count 20 --message ping # 串口模式直接通过串口与设备对话 ./scripts/benchmark.sh --mode serial --serial-port /dev/cu.usbmodem1101 --count 20 --message ping两种模式覆盖不同场景Relay 模式请求经 Web Relayscripts/web_relay.py转发到设备测的是真实 HTTP 全链路响应 JSON 中的elapsed_ms字段即 Relay 侧统计的耗时。串口模式绕过网络直接发送提示词适合测量设备本身的响应能力还会额外报告「首响应时间」。让测量更可信的 4 个关键参数参数默认值作用--count10正式测量次数建议 ≥20 以获得稳定的 p90/p95--warmup1预热请求排除首次请求的缓存/连接建立开销--append-counter关给每条提示词追加递增序号如ping 1、ping 2避免相同消息被缓存命中导致延迟被低估--interval-ms250请求间隔防止触发限流 做压测时尤其建议加上--append-counter这是获得「真实延迟」而非「缓存延迟」的关键小技巧。看懂基准测试输出的延迟指标测试结束后脚本会按min / p50 / p90 / p95 / max / mean统计输出各指标典型指标包括Host total主机测得的端到端总耗时Relay elapsedRelay 服务端统计的转发耗时First response串口模式下收到首行回复的时间Device total / Device LLM / Device tools固件自报的设备侧总耗时、LLM 调用耗时和工具执行耗时。设备侧数据来自固件在 main/agent.c 中打印的METRIC request日志行含total_ms、llm_ms、tool_ms、rounds等字段。当三个阶段齐全时脚本还会输出归因分析例如「LLM 占 82%本地逻辑占 18%」——帮你一眼判断延迟究竟花在了云端 API 还是设备本身。实测建议与常见坑固定网络环境WiFi 信号、AP 负载都会影响 Relay 模式结果对比测试时保持同一环境。先预热再测量保持默认--warmup 1或手动多预热一次避免 TCP/TLS 握手时间混入统计。用简单提示词做基线ping这类短消息适合测基础设施延迟换成长提示词测的是 LLM 生成速度两者不要混在一起看。结果要连 outcome 一起看串口模式会统计Device outcomes成功/失败次数失败样本会拉高 max 值先看成功率再谈延迟。相关源码与文档基准测试入口scripts/benchmark.sh测试执行器参数、统计、归因逻辑scripts/benchmark_latency.py设备侧耗时采集main/agent.cWeb Relay 的elapsed_ms统计scripts/web_relay.py单元测试消息计数、预热序列test/host/test_benchmark_latency.py完整用法说明docs-site/reference/README_COMPLETE.md小结⚡ 借助 zclaw 自带的性能基准测试你可以用一行命令测出 ESP32 AI 助手从 Telegram 到响应的真实延迟并自动拆分出 LLM 调用与本地工具执行的耗时占比。无论是验证固件改动、还是评估网络环境对助手体验的影响这套工具都提供了足够可靠的量化依据。【免费下载链接】zclawYour personal AI assistant at all-in 888KiB (~35KB in app code). Running on an ESP32. GPIO, cron, custom tools, memory, and more.项目地址: https://gitcode.com/gh_mirrors/zc/zclaw创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考