文章目录1 视频12 视频22.1 MOE历史介绍2.2 DeepSeekMOE2.33 个人疑问3.1 疑问1router是不是就类似一个线性层softamx3.2 疑问2经过不同experts之后的结果是简单求和吗3.3 疑问3参考文献abstractrouter其实就是线性层softmax1 视频17分钟速通MoE2 视频2[EP07] 与DeepMind科学家畅聊MoE2.1 MOE历史介绍2.2 DeepSeekMOE最右边的图这个shared Expert是永远被选中的他是always on的。2.33 个人疑问3.1 疑问1router是不是就类似一个线性层softamx这里的router其实就是一个线性层softmax就像个简单分类器一样某个token进入到token之后相当于先做一个矩阵乘法然后加一个softmax这样就得到得分了然后可以选择topk个专家。3.2 疑问2经过不同experts之后的结果是简单求和吗我看结构图以为经过了不同专家之后的结果就是经过了几个小的FFN的结果直接求和但实际上是按照权重求和正好前面router的时候不是求出来了每个专家对应的权重吗所以这里正好是按照权重求和。3.3 疑问3这里的MOE我最开始以为他是将一个大的FFN在计算的时候分成了几个小的FFN但其实不是他是在模型网络结构上就是有好几个并行的小ffn比如其他网络可能是hidden_size是4096然后FFN里面的维度是4*4096然后MOE里面相当是这里并列有比如12个4096的小FFN每次激活不同的小FFN去做计算。参考文献7分钟速通MoE[EP07] 与DeepMind科学家畅聊MoE