在过去半年里前端圈关于“把大模型搬进浏览器”的讨论铺天盖地。从 WebLLM、Transformers.js 到各大自研推理框架几乎都在宣扬端侧 AI 的免服务器成本、绝对数据隐私和零网络延迟。然而作为需要对线上性能与转化率负责的技术手艺人我们最反感脱离真实硬件数据的纸上谈兵。浏览器端跑模型到底能不能用于生产在用户的真实设备上究竟能跑到几 Token 每秒移动端 GPU 跑大模型会不会导致手机发烫降频、电池断崖式下跌甚至直接触发 Chrome 的 OOM 闪退为了彻底摸清端侧 WebGPU 的算力底线与工业化可用边界我们在国庆前夕组织了一次覆盖主流桌面端、轻薄本以及移动端旗舰设备的基准压测Benchmark。测试统一基于最新的 WebLLM 运行内核与自定义 WGSL 算子管线对 1.5B 到 7B 参数规模的主流开源端侧模型展开实测。本文将完整的压测数据、瓶颈归因与选型建议全盘公开。评测基准与测试矩阵设计本次基准测试主要考核三个反映真实交互体验的核心指标GEMM 浮点吞吐TFLOPS基于标准 $4096 \times 4096$ 矩阵乘法计算着色器WGSL Compute Shader衡量设备在浏览器环境下的纯算力释放效率。TTFTTime To First Token首 Token 延迟以 512 Tokens 为 Prompt 上下文输入评估模型 Prefill 阶段的算力承载力。Decode Throughput解码吞吐持续自回归生成 256 Tokens 的平均速度Tokens/s决定了打字机输出是否丝滑。测试设备与硬件梯队我们挑选了 5 档极具代表性的硬件设备梯队 A桌面高性能PC 平台AMD Ryzen 7 7800X3D NVIDIA RTX 4070 (12GB 显存)Windows 11Chrome 129。梯队 B统一内存架构标杆Apple MacBook Pro 14 (M3 Pro, 18GB 统一内存)macOS 15.0Chrome 129。梯队 C主流办公轻薄本Intel Core Ultra 7 155H (Arc 集显分配 4GB 共享显存)Windows 11Edge 129。梯队 D移动端旗舰某主流品牌旗舰机 (骁龙 8 Gen 3Adreno 750)Android 14Chrome Mobile 129。梯队 E移动端次旗舰某中端机型 (联发科天玑 8300Mali-G615)Android 14Chrome Mobile 129。核心基准数据实测盘点所有模型均采用业界成熟的 AWQ / GPTQ INT4 量化格式权重直接通过 Cache API 缓存到浏览器本地。1. Qwen-2.5-1.5B-Instruct-q4f16_1 实测表现1.5B 级别模型是目前端侧最推荐的“任务型助手”如输入建议、格式补全、前端组件审查模型硬件梯队 / 设备型号显存/内存占用首 Token 延迟 (TTFT)解码吞吐 (Tokens/s)5分钟持续发热与掉电评估RTX 4070 (桌面)1.15 GB38 ms112.5 tok/s核心温度 42℃无感知Apple M3 Pro1.18 GB62 ms58.3 tok/s冰凉无风扇声掉电约 1%Intel Arc 集成显卡1.22 GB145 ms24.1 tok/s略有发热风扇轻微转动骁龙 8 Gen 31.25 GB185 ms18.6 tok/s机身温热掉电约 3%天玑 83001.28 GB310 ms11.2 tok/s明显发热触发降频后掉至 8 tok/s2. Llama-3.2-3B-Instruct-q4f16_1 实测表现3B 级别模型在复杂上下文遵循和工具调用Tool Use上有质的提升但对端侧硬件是一道分水岭硬件梯队 / 设备型号显存/内存占用首 Token 延迟 (TTFT)解码吞吐 (Tokens/s)生产可用性评估RTX 4070 (桌面)2.15 GB72 ms68.4 tok/s极致丝滑完全超预期Apple M3 Pro2.19 GB118 ms34.2 tok/s表现稳定阅读速度匹配良好Intel Arc 集成显卡2.24 GB290 ms13.5 tok/s勉强可用偶尔有轻微卡顿感骁龙 8 Gen 32.31 GB420 ms9.8 tok/s仅能作为长流程后台任务体验临界天玑 83002.36 GB850 ms4.6 tok/s不可用打字机明显迟钝容易闪退3. 7B 级别大模型端侧生存现状Qwen-2.5-7B-Instruct-q4f16_1实测结果表明在没有独立大显存的普通用户设备上在浏览器中强跑 7B 模型目前仍然属于技术自嗨。RTX 4070 依然能跑到 32 tok/sM3 Pro 统一内存下能稳定在 16 tok/s但在 Intel 集显和所有移动端设备上模型权重下载近 4GB耗时极长加载完成后直接逼近移动端浏览器的单个 Tab 内存红线多数手机浏览器 Tab 内存上限为 2GB~3GB。骁龙 8 Gen 3 在跑第二轮对话时直接被 Android 系统的 Low Memory Killer 强制干掉页面瞬间白屏崩溃。影响端侧 WebGPU 性能的底层技术深水区为什么同样的 INT4 模型在不同架构上的表现天差地别我们通过 Chrome WebGPU Profiler 与底层着色器反编译发现两个核心根因1. 内存带宽决定了自回归的生死在 Transformer 的 Decode 阶段生成每个 Token 都需要把数十亿参数从内存读取到计算单元中。计算量其实并不大纯粹是内存带宽瓶颈Memory-Bound。Apple M 系列芯片拥有 150GB/s 甚至更高的统一内存带宽GPU 与 CPU 零拷贝共享内存因此即便没有独显Decode 吞吐依然非常可观移动端 SoC 虽然峰值带宽可达 77GB/sLPDDR5X但受到散热与功耗墙TDP 通常限制在 5W~8W约束一旦连续跑 30 秒以上温控系统就会强行压低 GPU 核心频率导致生成速率暴跌 40% 以上。2. WGSL 子组操作Subgroups支持不均在现代 GPU 编程中Subgroup或 Warp / Wavefront级别的通信洗牌Shuffle指令是优化矩阵乘法和 Softmax Reduction 的利器。桌面端 NV 显卡和 Apple Silicon 早已完全支持enable chromium_experimental_subgroups;算子执行效率极高。而很多 Android 设备的 Vulkan 驱动由于厂商定制阉割在浏览器中无法暴露完整的 Subgroup 特性只能退回到全局内存反复读写性能大打折扣。前端架构师的生产落地决策树基于本次基准评测的冷酷数据我们建议前端团队在规划端侧 AI 功能时遵循以下原则业务需求需要端侧 AI 能力 │ ├─► 是否必须支持移动端 H5 / 小程序环境 │ ├─► 是 ──► 坚决不上 2B 模型选型收敛至 0.5B ~ 1.5B 模型如 Qwen-1.5B │ │ 且仅用于特定无状态任务敏感词过滤、拼写纠错、本地搜索排序 │ └─► 否 ──► 进入桌面端决策 │ └─► 桌面端 Web 应用SaaS / 企业内部后台 ├─► 目标用户多为 Mac / 独显 PC ──► 大胆使用 3B 模型体验完全可比拟云端 API └─► 目标用户配置杂乱老旧轻薄本为主 ──► 实施端云协同Hybrid-Fallback架构结语端侧 WebGPU 绝不是未来遥不可及的概念它已经在 1.5B 级别的小模型上展现出了惊人的生产可用性。但前端工程师必须清醒地认识到物理世界的限制算力有功耗墙带宽有物理极限内存有系统安全红线。不盲目追求在浏览器跑 7B 大参数精选 1B 级别的垂直任务小模型做好降级与显存治理才是真正务实且具有商业价值的技术落地之路。