2025_NIPS_PermLLM: Learnable Channel Permutation for N:M Sparse Large Language Models
一、文章主要内容总结本文针对大型语言模型（LLMs）N:M半结构化剪枝中传统通道置换依赖手工设计质量指标、难以准确捕捉剪枝对模型性能影响的问题，提出了名为PermLLM的后训练剪枝框架。该框架核心是引入可学习通道置换（LCP），通过Sinkhorn归一化将离散置换矩阵转化为可微的软置换矩阵，实现端到端优化；同时采用块级通道置换策略，大幅减少可学习参数和计算复杂度。PermLLM可与现有单步剪枝方法（如Wanda、RIA）无缝集成，自适应优化通道置换以减轻剪枝导致的误差，并开发了定制CUDA内核加速通道置换操作。在LLaMA系列、Qwen、OPT等模型上的大量实验表明，PermLLM在2:4、4:8等N:M稀疏性设置下，在语言建模（Wikitext2数据集）和零样本任务（HellaSwag、ARC等）中均优于SparseGPT、Wanda+CP、RIA+CP等基线方法，同时通过定制内核实现了约1.67倍的推理加速，兼顾性能与效率。二、文章创新点首次提出可学习通道置换（LCP）：突破传统手工质量指标的局限，直接最小化稠密模型与稀疏模型的输出误差，通过端到端优化学习通道排序，提升剪枝后模型性能。离散置换矩阵的可微松弛：利用Sinkhorn归一化将离散置换矩阵转化为双随机矩阵（软置换矩阵），结合Straight-Through Estimator（STE）解决置换矩阵不可微问题，支持梯度-based优化。块级通道置换策略：将通道划分为多个块，仅在块内进行置换学习，将可学习参数数量从
)
