一、论文基本信息论文题目Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks作者Zhonghui You、Kun Yan、Jinmian Ye、Meng Ma、Ping Wang发表信息NeurIPS 2019论文链接https://arxiv.org/abs/1909.08174官方代码https://github.com/youzhonghui/gate-decorator-pruning这篇论文发表于NeurIPS 2019。论文提出了一种全局 filter 剪枝方法Gate Decorator其核心做法是在 CNN 模块输出后乘一个逐通道的可学习缩放因子也就是gate。如果某个 gate 被置为 0就等价于删除对应 filter然后论文用一阶 Taylor 展开估计把 gate 置 0 会造成多大 loss 变化并用这个估计值进行全局 filter 重要性排序。官方代码仓库为youzhonghui/gate-decorator-pruningREADME 中说明该仓库包含复现 NeurIPS 2019 论文结果所需脚本环境要求为 Python 3.6 和 PyTorch 1.0仓库目前已被作者归档为只读状态。二、论文要解决的问题前面的很多 filter pruning 方法都是layer-by-layer pruning。典型流程是第 1 层剪一些 filters ↓ 重构 / 微调 ↓ 第 2 层再剪一些 filters ↓ 继续重构 / 微调这种方法有两个明显问题。第一个问题是需要人为指定每一层剪枝率。例如conv1 剪 10% conv2 剪 30% conv3 剪 50%但不同层的重要性不同手工设定每层剪枝率很难保证全局最优。第二个问题是逐层剪枝很耗时。每次只处理一层深层网络中卷积层很多剪枝和重构过程会变得很慢。论文指出layer-by-layer 方法往往需要预设每层剪枝率并且深层网络逐层处理成本较高相比之下全局剪枝不需要给每一层单独指定剪枝率而是根据全局目标自动决定每层最后保留多少通道。因此Gate Decorator 主要要解决的问题是如何对整个网络中所有 filters 做一个全局重要性排序论文把这个问题称为GFIR: Global Filter Importance Ranking也就是说它不是问这一层内部哪些 filters 最不重要而是问全网络所有 filters 放在一起 到底哪些最应该先剪三、核心思想Gate Decorator 的核心思想可以概括为一句话给每个 filter 的输出加一个 gate用“把 gate 置 0 后 loss 会变化多少”来衡量该 filter 的全局重要性。假设某个 filter 输出的 feature map 是Gate Decorator 给它乘一个可学习缩放因子如果那么也就是说这个 filter 的输出完全消失等价于把该 filter 删除。论文正是利用这个性质把 filter pruning 转换成 gate pruning估计把某个 gate 置 0 会造成多大 loss 变化。如果置 0 后 loss 变化小说明这个 filter 不重要可以优先剪掉。如果置 0 后 loss 变化大说明这个 filter 重要应该保留。所以 Gate Decorator 的判断逻辑是gate 置 0 后 loss 变化小 ↓ 对应 filter 不重要 ↓ 优先剪掉四、方法细节4.1 Gate Decorator给模块输出加 gateGate Decorator 的基本形式是其中 z 是某个 filter 产生的 feature map是该 feature map 对应的 gate。这一步的意义是把“删除 filter”转换成“把 gate 置 0”。原本删除 filter 是一个离散结构操作不方便直接估计 loss 变化。加入 gate 后可以把问题写成一个连续变量的变化问题。原问题 删除某个 filter 会让 loss 变化多少 转换后 把该 filter 对应的 gate φ 置 0 loss 会变化多少这样就可以使用 Taylor 展开来估计 filter 重要性。4.2 一阶 Taylor 展开估计重要性设 loss 关于 gate的函数为其中表示除之外的其他输入、标签和模型参数。把 gate 从当前值置为 0 后loss 变化为对在处做一阶 Taylor 展开于是也就是就是 filter 的重要性分数。论文明确使用 Taylor expansion 估计将 scaling factor 置 0 引起的 loss 变化并把该估计作为全局 filter importance ranking 的依据。这个公式非常关键。它说明 Gate Decorator 的重要性不只是看 gate 大小也不只是看梯度大小而是看gate 当前值 × loss 对 gate 的梯度直观解释φ 大但梯度小 该通道存在但对 loss 不敏感。 φ 小但梯度大 该通道虽然被压小但 loss 对它敏感。 |φ · grad_φ L| 小 置 0 后 loss 变化小更适合剪掉。4.3 为什么是“全局”剪枝很多方法在同一层内部排序例如conv3 内部按 L1 norm 排序 conv4 内部按 L1 norm 排序 conv5 内部按 L1 norm 排序但是这样只能回答某一层内部哪个 filter 更不重要不能回答conv3 的一个 filter 和 conv10 的一个 filter 到底谁更该被剪Gate Decorator 的重要性分数来自 loss 的 Taylor 变化估计因此天然具有跨层比较意义。它不需要人为给每层设定剪枝率而是把全网络 filters 统一排序。流程是1. 给所有可剪 filter 加 gate。 2. 计算每个 gate 的重要性 Θ(φ) |φ · ∂L/∂φ| 3. 把所有 filters 放到一个全局列表中排序。 4. 剪掉全局重要性最低的一部分 filters。 5. 自动得到每一层最终保留的通道数。这就是 GFIR 的核心。4.4 Gate Batch Normalization把 gate 加到 BN 上实际实现中论文主要把 Gate Decorator 应用于 BatchNorm称为GBN: Gated Batch Normalization普通 BatchNorm 可以写成Gate Decorator 在 BN 输出后再乘一个 gate其中BN 原有参数逐通道 gate每个 gate 对应一个输出通道也对应前面卷积层的一个 filter。论文选择 BN 作为 Gate Decorator 的插入位置主要因为 BN 通常跟在卷积层之后容易建立 filter 和 feature map 的对应关系同时 BN 的 scale 参数 (\gamma) 也可以为 gate 提供初始排序线索。这点和Network Slimming很像但二者并不一样。Network Slimming 主要看BN gamma 的大小而 Gate Decorator 看|gate × gate 的梯度|也就是 loss 对删除该通道的敏感性。4.5 GBN 只是临时剪枝结构Gate Decorator 不是要在最终模型中永久保留 gate。论文强调GBN 只是为了剪枝临时插入的结构。给定一个预训练模型剪枝前把 BN 转换成 GBN剪枝结束后再把 GBN 转回普通 BN。这样最终剪枝模型中不会引入额外操作或特殊结构。因此Gate Decorator 的部署优势是剪枝阶段 Conv GBN ReLU 剪枝完成后 Conv BN ReLU 最终模型 没有额外 gate 没有特殊算子 可以直接部署这和 GAL 里的 soft mask 有点相似mask / gate 都是为了学习结构最终真正删除通道后不再保留额外门控操作。4.6 Tick-Tock 剪枝框架论文除了提出 Gate Decorator还提出了一个迭代剪枝框架Tick-Tock它由两个阶段组成。Tick 阶段Tick 阶段的目标是1. 快速计算 filter 重要性分数。 2. 修正前面剪枝造成的分布偏移。 3. 每次剪掉一小部分低重要性 filters。在 Tick 阶段论文只使用训练集的一个小子集训练一轮并且只允许 gate (\phi) 和最后的线性层更新以避免在小数据集上过拟合重要性分数 (\Theta) 在反向传播过程中计算。这一步可以理解为少量数据 ↓ 只更新 gate 和 classifier ↓ 计算每个 gate 的 Taylor score ↓ 剪掉全局最低分 filtersTock 阶段Tock 阶段的目标是1. 用完整训练数据修复剪枝误差。 2. 对 gate 加稀疏约束。 3. 让后续重要性估计更清晰。Tock 阶段的 loss 为也就是在原任务 loss 上加入 gate 的 L1 稀疏正则。论文说明Tock 使用完整训练数据并在训练中加入的 sparse constraint最终 fine-tuning 阶段则不再加入 sparse constraint。整体 Tick-Tock 可以写成预训练模型 ↓ BN 转 GBN 重复若干轮 Tick: 小数据子集 只训练 gate 和最后线性层 计算全局重要性分数 剪掉低分 filters Tock: 完整训练集 加 gate L1 稀疏约束 恢复精度并让 gate 更稀疏 剪枝结束 GBN 转回 BN 最终 fine-tuning4.7 为什么 Tick-Tock 比 One-Shot 更好如果只做一次全局排序然后一次性剪到目标 FLOPs这叫 one-shot pruning。问题是剪掉一批 filters 后网络内部 feature distribution 会变化原来计算出的重要性排序可能不再准确。Tick-Tock 的优势是剪一小部分 ↓ 恢复 / 稀疏化 ↓ 重新计算重要性 ↓ 再剪一小部分论文消融实验中比较了 One-Shot、Tick-Only 和 Tick-Tock结果显示在相同 FLOPs 约束下Tick-Tock 和 Tick-Only 明显优于 One-ShotTock 阶段进一步提高了剪枝模型 fine-tuning 后的性能。因此Tick-Tock 的作用不是装饰而是让全局排序在剪枝过程中不断更新减少一次性误删的风险。4.8 Group Pruning解决 ResNet shortcut 约束在 ResNet 中残差连接会做 element-wise additionbranch output shortcut output如果两条路径的通道数不一致就无法相加。因此ResNet 剪枝会遇到Constraint Pruning Problem如果独立剪每个卷积层很容易导致 shortcut 两端 feature map 通道不对齐。Gate Decorator 提出Group Pruning来解决这个问题把通过纯 shortcut 相连的 GBN 分到同一组让这一组共享同样的剪枝模式。论文指出对纯 shortcut 连接的 GBN 进行分组可以把一个 group 看作 Virtual GBN组内第 (j) 个 filter 的重要性由所有成员的对应重要性相加得到。公式为这样做的直观意义是shortcut 相加的多个分支 ↓ 对应通道必须同时保留或同时删除 ↓ 否则维度不匹配这使 Gate Decorator 能够安全处理 ResNet 这类带 shortcut 的网络。五、关键公式5.1 Gate Decorator当对应 filter 等价于被删除。5.2 Loss 变化5.3 Taylor 重要性估计因此 filter 重要性为5.4 Gated Batch Normalization5.5 Tock 阶段稀疏约束5.6 Group Pruning 重要性六、实验设置论文使用的数据集包括CIFAR-10 CIFAR-100 CUB-200 ImageNet ILSVRC-12 PASCAL VOC 2011采用的网络结构包括VGGNet / VGG-M ResNet FCN论文在实验部分说明CIFAR-10、CIFAR-100、CUB-200、ImageNet ILSVRC-12 和 PASCAL VOC 2011 都被用于验证网络结构包括 VGGNet、ResNet 和 FCN。官方代码仓库中给出的示例包括ResNet-56 在 CIFAR-10 上剪掉约 70% FLOPs 仍保持约 93.15% accuracyVGG-16 在 CIFAR-10 上剪掉 90% FLOPs 和 98% 参数后保持 92.07% accuracy仓库也提供了保存和加载剪枝模型的示例。七、实验结果解读7.1 ResNet-56 / CIFAR-1070% FLOPs reduction 几乎不掉点在 ResNet-56 / CIFAR-10 上论文报告 baseline accuracy 为 93.1%。GBN-40 剪掉 60.1% FLOPs、53.5% 参数accuracy drop 为 -0.33%也就是精度反而略高GBN-30 剪掉 70.3% FLOPs、66.7% 参数accuracy drop 只有 0.03%。这个结果说明Gate Decorator 的全局排序 确实能自动找到较优的层间通道分配。尤其是 70% FLOPs reduction 下几乎不掉点说明它不是简单地均匀剪掉通道而是能根据任务 loss 敏感性决定不同层该保留多少。7.2 ResNet-50 / ImageNet40% FLOPs reduction 反而提升 Top-1在 ResNet-50 / ImageNet 上GBN-60 剪掉 40.54% FLOPs 和 31.83% 参数pruned Top-1 为 76.19%比未剪枝 baseline 高 0.31%GBN-50 剪掉 55.06% FLOPs 和 53.40% 参数Top-1 drop 为 0.67%。更重要的是论文还测试了 wall-clock speed。ResNet-50 baseline 在 Titan X Pascal 上推理速度为 864 images/sGBN-60 达到 1127 images/s提升约 30%GBN-50 达到 1237 images/s提升约 43%。这个实验很重要因为它不仅报告 FLOPs还报告了真实吞吐提升。虽然这仍然是 GPU batch 推理不等同于移动端单张延迟但比只报告 FLOPs 更接近部署效果。7.3 语义分割任务FCN / PASCAL VOC 2011Gate Decorator 不依赖特定分类 loss因此也可以用于其他视觉任务。论文在 FCN-32s / PASCAL VOC 2011 语义分割任务上测试剪枝后 FLOPs 减少 27%参数减少 73%mIoU 从 62.84% 到 62.86%基本保持不变。这说明 Gate Decorator 的 Taylor loss 变化估计不仅适用于分类网络也可以用于分割这类 dense prediction 任务。7.4 Tick-Tock 框架的作用论文在 CIFAR-100 / VGG-16-M 上比较了 One-Shot、Tick-Only 和 Tick-Tock。结果表明One-Shot: 只算一次全局排序然后直接剪。 Tick-Only: 每次重新计算排序逐步剪。 Tick-Tock: 逐步剪 稀疏约束恢复。在相同 FLOPs 阈值下Tick-Only 和 Tick-Tock 都明显优于 One-ShotTock 阶段能进一步提升 fine-tuning 后性能。比如 40% FLOPs 剪枝时Tick-Tock fine-tune 后达到 74.6% accuracy而 baseline 为 73.2%。这说明全局剪枝不能只依赖一次排序。随着网络结构变化重要性也需要重新估计。7.5 Gate Decorator 相比 Slim 和 PCNN论文还将 Gate Decorator 与 Slim 和 PCNN 比较用于验证 GFIR 的有效性。结论大致是Slim: 主要根据 scale factor magnitude 排序 排序曲线波动较大。 PCNN: 也使用 Taylor expansion 但没有显式 gate 需要对 feature map 元素累积 Taylor 项。 Gate Decorator / GBN: 用 gate 建立每个 filter 的显式连续变量 score 更直接也更适合加稀疏约束。论文指出PCNN 因没有引入 scaling factors需要对 feature map 各元素的一阶 Taylor 多项式求和可能累积估计误差而 Gate Decorator 有显式 gate可以利用稀疏约束并且不需要像 PCNN 那样做跨层 score normalization。八、方法优点8.1 真正做全局 filter 排序Gate Decorator 不要求人工指定每层剪枝率而是把所有 filters 放在一起排序。这使得每层最终保留通道数由任务 loss 和全局重要性共同决定。8.2 Taylor score 比单纯 gate magnitude 更合理只看 gate 或 BN gamma 大小忽略了 loss 对该通道的敏感性。Gate Decorator 使用同时考虑通道当前激活强度 loss 对该通道的敏感性这比单纯 magnitude ranking 更接近“剪掉它会造成多大损失”。8.3 不引入额外部署结构GBN 只在剪枝阶段使用。剪枝结束后gate 可以合并或去除模型回到普通 Conv-BN-ReLU 结构。因此最终部署模型没有额外门控算子。8.4 Tick-Tock 让剪枝更稳定相比 one-shot 剪枝Tick-Tock 会反复重新估计重要性并通过 Tock 阶段恢复网络状态。这降低了全局一次性剪枝的误删风险。8.5 支持 ResNet shortcut 约束Group Pruning 解决了 ResNet 中 shortcut feature map 通道对齐问题使 Gate Decorator 可以安全剪残差网络。九、方法局限9.1 仍然需要训练和 fine-tuningGate Decorator 不是 zero-cost pruning。它需要预训练模型 GBN 转换 Tick 阶段计算重要性 Tock 阶段稀疏训练 最终 fine-tuning相比 L1 / FPGM 这类简单排序方法流程更复杂。9.2 依赖 gate 的 Taylor 一阶近似Gate Decorator 用一阶 Taylor 展开估计 loss 变化。这个估计在小扰动附近较合理但真正把 gate 置 0 是比较大的结构变化。虽然论文通过 Tick-Tock 缓解误差但 Taylor score 仍然只是近似。9.3 超参数和流程较多实际复现时需要设置每轮剪多少 filters Tick 使用多少数据 Tock 训练多少 epoch gate 稀疏正则 λ 最终 fine-tuning 策略 ResNet group pruning 规则因此工程复杂度高于简单 L1 pruning。9.4 对无 BN 网络需要额外设计论文主要实验采用 GBN也就是在 BN 上加 gate。虽然论文说明无 BN 网络也可以直接对 convolution 应用 Gate Decorator但实际工程上BN 网络更自然。如果模型没有 BN或者使用 LayerNorm / RMSNorm例如 ViT、LLM就不能直接照搬 GBN 形式。9.5 对 Transformer / LLM 不直接适用Gate Decorator 原文面向 CNN filter pruning。对于 Transformer、ViT、LLM、VLM剪枝对象可能是attention heads MLP neurons tokens layers vision tokens KV cache但它的思想可以迁移为给结构单元加 gate ↓ 用 |gate × gradient| 估计删除该单元的 loss 变化 ↓ 做全局结构单元排序 ↓ 逐步剪枝并校准 / 微调这也是后续很多 head pruning、neuron pruning、token pruning 方法可以借鉴的地方。十、后续影响Gate Decorator 的价值主要体现在三个方面。第一它把 filter pruning 中的全局重要性排序 GFIR问题讲得很清楚。很多早期方法只在层内排序而 Gate Decorator 明确强调如果目标是整网压缩就应该跨层比较 filter 重要性。第二它将 gate、Taylor expansion 和结构化剪枝结合起来。通过可学习 gate把“删除 filter”变成“把连续变量置 0”再用一阶 Taylor 估计 loss 变化。这种思想后来也常见于结构化剪枝、head pruning、neuron pruning 中。第三它提出 Tick-Tock 框架说明全局剪枝最好不要 one-shot 完成而应该逐步剪枝、反复重估重要性并在中间阶段加入稀疏约束恢复网络状态。从专栏脉络看Gate Decorator 可以放在这里Pruning Filters for Efficient ConvNets ↓ ThiNet ↓ Channel Pruning ↓ Network Slimming ↓ NISP ↓ DCP ↓ SFP ↓ FPGM ↓ HRank ↓ GAL ↓ Gate Decorator ↓ AMC / NetAdapt / MorphNet / MetaPruning / EagleEye / LeGR如果说 Network Slimming 问的是能不能用 BN gamma 稀疏化选择通道那么 Gate Decorator 问的是能不能给每个 filter 加 gate 用 gate 的 Taylor loss 变化估计全局重要性 从而跨层统一排序并剪枝这就是 Gate Decorator 在剪枝论文脉络中的核心位置。十一、一句话总结《Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks》提出在 CNN 模块输出后加入逐通道 gate通过一阶 Taylor 展开估计将 gate 置 0 对 loss 的影响并据此进行全局 filter 重要性排序结合 Gated BatchNorm、Tick-Tock 迭代剪枝和 Group Pruning它实现了无需预设每层剪枝率的全局结构化 filter pruning。