AI 数学的秘密花园:11.FeedForward为什么这么大?(超级语义加工厂,扩维→调味→降维)

📅 发布时间:2026/7/8 7:27:17 👁️ 浏览次数:
AI 数学的秘密花园:11.FeedForward为什么这么大?(超级语义加工厂,扩维→调味→降维)
第11章:FeedForward为什么这么大?(超级语义加工厂,扩维→调味→降维)上一章咱们在共享公寓里把LayerNorm学成了“个人卫生好习惯”,整个Transformer楼层都清爽了不少。今天咱们直接走进每个块里最“壮实”、参数最多的家伙——FeedForward Network(前馈网络)。很多人一看到它动辄几千维的参数,就忍不住问:“哎呀,这么大个头干嘛用?”来,系上围裙,咱俩一起去参观AI的超级语义加工厂~(瞧这张,超级现代的中央厨房,宽敞的操作台、满墙的调料架、流水线从窄到宽再到窄——这不就是FeedForward的真实写照吗?)FeedForward就是把注意力挑来的新鲜食材,送进一个巨型五星级厨房:先把小厨房扩建成大厂房,再猛火爆炒加满调味料,最后浓缩成一小碗极品高汤!注意力机制像一群专家,把最对味的词挑进购物车,送到加工厂门口。现在轮到FeedForward大显身手了。它干的事儿超级简单,却超级重要:扩维 → 非线性调味 → 降维。第一步:扩维——把厨房瞬间变大输入向量进来(比如512维),FeedForward啪地把它拉到4倍大(2048维左右)。这就像把你家5平米小厨房,一夜之间改造成拥有超级大操作台的五星级中央厨房。空间突然变宽敞了,能同时摆几百种食材,能让厨师们天马行空地组合、实验、发明新菜。维度大了,模型就有足够“脑容量”去深度思考、捕捉那些藏得很深的语义关系。第二步:疯狂调味——非线性魔法上场厨房大了还不算完