尧图网页设计 
# TinyML模型压缩实战量化、剪枝、蒸馏的踩坑与平衡三个月前我准备把一个音频事件分类模型部署到 STM32F746 上。216MHz 主频320KB SRAM1MB Flash参数看着够用。直到我看了眼模型文件——FP32 权重整整 2MB。Flash 放不下SRAM 更是别想。这不是个例。边缘设备的存储容量只有云端服务器的千分之一功耗预算按毫瓦算。模型压缩不是可选项是部署的前置条件。## 32位浮点数的原罪训练好的模型每个权重、每层激活值默认都是 FP32。一个 FP32 数值能表示约 ±3.4×10³⁸ 的范围精度约 7 位十进制数。训练时梯度回传需要这个精度推理时它却成了负担。50 万参数的模型FP32 权重占 2MB。即便强行塞进外部 Flash推理时每一层的中间激活值也要过 SRAM——320KB 根本扛不住。更隐蔽的问题是访存速度STM32F746 从 Flash 读数据需要插入等待周期实测比 SRAM 慢约 7 倍STM32F746 参考手册 Flash 等待周期章节。模型体积直接决定推理延迟和功耗而体积的根源就是 FP32。## 四种优化手段先说结论TinyML 领域的优化手段可以归纳为四类。**量化**把 FP32 权重映射到 INT8 或 INT4。体积缩到 1/4在支持整数指令集的硬件上推理快 2-4 倍Jacob et al., 2018Google 的整数量化论文。工程上最成熟、收益最确定。**剪枝**移除接近零的冗余权重。Han et al. 2016 在 Deep Compression 中报告训练好的模型 90% 以上的权重对最终预测贡献极小。结构化剪枝直接移除整个 Filter才有硬件层面的实际收益。**知识蒸馏**让大模型输出软标签指导小模型学习。Hinton et al. 2015 提出这个方法时报告学生模型能保留教师模型 96% 以上的准确率。我的实验数据是 92% → 89.8%符合这个量级。**神经架构搜索**让算法在目标硬件约束下搜索最优结构。效果好但搜索成本上千 GPU 小时对项目周期不友好。我一般只在有现成搜索空间时才考虑。这四者不是互斥关系而是流水线。我目前项目中用的路径是蒸馏出紧凑学生模型 → 结构化剪枝 → INT8 量化。每一步损失 1% 左右精度最终体积缩到 1/20整体准确率下降约 2.5%个人实测。## 量化实践conv 模型与 TFLite 转换先定义一个适合 Cortex-M 的轻量 1D CNN用于传感器信号分类TensorFlow 2.16.1pythonimport tensorflow as tffrom tensorflow.keras import layersdef build_tinyml_cnn(input_shape(6, 300), num_classes3):面向Cortex-M微控制器的轻量级1D CNNmodel tf.keras.Sequential([layers.Input(shapeinput_shape),# [batch50, timesteps6, channels300]layers.Conv1D(8, 3, activationrelu),layers.MaxPooling1D(2),layers.Conv1D(16, 3, activationrelu),layers.MaxPooling1D(2),layers.Flatten(),layers.Dense(16, activationrelu),layers.Dropout(0.2),layers.Dense(num_classes, activationsoftmax)])model.compile(optimizeradam,losssparse_categorical_crossentropy,metrics[accuracy])return modelmodel build_tinyml_cnn()model.fit(x_train, y_train,epochs50, batch_size32,validation_split0.2)这个模型约 15000 个参数FP32 权重 60KBINT8 量化后约 15KB可以在绝大多数 MCU 的 SRAM 中完全驻留。Dropout(0.2) TinyML模型压缩实战：量化、剪枝、蒸馏的踩坑与平衡
# TinyML模型压缩实战量化、剪枝、蒸馏的踩坑与平衡三个月前我准备把一个音频事件分类模型部署到 STM32F746 上。216MHz 主频320KB SRAM1MB Flash参数看着够用。直到我看了眼模型文件——FP32 权重整整 2MB。Flash 放不下SRAM 更是别想。这不是个例。边缘设备的存储容量只有云端服务器的千分之一功耗预算按毫瓦算。模型压缩不是可选项是部署的前置条件。## 32位浮点数的原罪训练好的模型每个权重、每层激活值默认都是 FP32。一个 FP32 数值能表示约 ±3.4×10³⁸ 的范围精度约 7 位十进制数。训练时梯度回传需要这个精度推理时它却成了负担。50 万参数的模型FP32 权重占 2MB。即便强行塞进外部 Flash推理时每一层的中间激活值也要过 SRAM——320KB 根本扛不住。更隐蔽的问题是访存速度STM32F746 从 Flash 读数据需要插入等待周期实测比 SRAM 慢约 7 倍STM32F746 参考手册 Flash 等待周期章节。模型体积直接决定推理延迟和功耗而体积的根源就是 FP32。## 四种优化手段先说结论TinyML 领域的优化手段可以归纳为四类。**量化**把 FP32 权重映射到 INT8 或 INT4。体积缩到 1/4在支持整数指令集的硬件上推理快 2-4 倍Jacob et al., 2018Google 的整数量化论文。工程上最成熟、收益最确定。**剪枝**移除接近零的冗余权重。Han et al. 2016 在 Deep Compression 中报告训练好的模型 90% 以上的权重对最终预测贡献极小。结构化剪枝直接移除整个 Filter才有硬件层面的实际收益。**知识蒸馏**让大模型输出软标签指导小模型学习。Hinton et al. 2015 提出这个方法时报告学生模型能保留教师模型 96% 以上的准确率。我的实验数据是 92% → 89.8%符合这个量级。**神经架构搜索**让算法在目标硬件约束下搜索最优结构。效果好但搜索成本上千 GPU 小时对项目周期不友好。我一般只在有现成搜索空间时才考虑。这四者不是互斥关系而是流水线。我目前项目中用的路径是蒸馏出紧凑学生模型 → 结构化剪枝 → INT8 量化。每一步损失 1% 左右精度最终体积缩到 1/20整体准确率下降约 2.5%个人实测。## 量化实践conv 模型与 TFLite 转换先定义一个适合 Cortex-M 的轻量 1D CNN用于传感器信号分类TensorFlow 2.16.1pythonimport tensorflow as tffrom tensorflow.keras import layersdef build_tinyml_cnn(input_shape(6, 300), num_classes3):面向Cortex-M微控制器的轻量级1D CNNmodel tf.keras.Sequential([layers.Input(shapeinput_shape),# [batch50, timesteps6, channels300]layers.Conv1D(8, 3, activationrelu),layers.MaxPooling1D(2),layers.Conv1D(16, 3, activationrelu),layers.MaxPooling1D(2),layers.Flatten(),layers.Dense(16, activationrelu),layers.Dropout(0.2),layers.Dense(num_classes, activationsoftmax)])model.compile(optimizeradam,losssparse_categorical_crossentropy,metrics[accuracy])return modelmodel build_tinyml_cnn()model.fit(x_train, y_train,epochs50, batch_size32,validation_split0.2)这个模型约 15000 个参数FP32 权重 60KBINT8 量化后约 15KB可以在绝大多数 MCU 的 SRAM 中完全驻留。Dropout(0.2)