Skip to content

前馈网络与门控线性单元(FFN / SwiGLU)

从键值记忆视角剖析位置前馈网络,系统推导 ReLU、GELU、SiLU 到 SwiGLU 与 8/3 d 维度对齐原理。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是前馈网络(FFN)与 SwiGLU?

在每一层 Transformer 积木块里,自注意力负责“把上下文里相关词的信息收集过来”,而紧随其后的 前馈网络(FFN, Feed-Forward Network) 则负责让每个词独立消化吸收这些信息、做复杂的非线性变换——研究普遍把 FFN 视作大模型存放海量事实知识的“神经记忆库”,它占据了稠密模型约三分之二的参数量。

SwiGLU 是现代大模型最常用的门控前馈升级版:在放大维度的同时增加一条“动态开关支路(门控)”,按内容决定哪些神经元该放行、哪些该静音,让同样参数量下的表达力显著更强。

01 问题从何而来:模型记住的“世界知识”究竟藏在哪? ​

很多人提到 Transformer,第一反应全是 自注意力机制,仿佛注意力包揽了大模型的全部智慧。可如果你拿计算器算一算参数账本,会大吃一惊:在标准的稠密大模型里,注意力只占了约 13 的主体参数,真正占据 23 庞大体积 的,是紧跟在注意力后面、名字听起来平平无奇的前馈网络(FFN)!

为什么一个“逐词独立计算、彼此不交流”的两层小网络,居然吃掉了全模型三分之二的脑容量?

类比 · 图书馆搬书员 vs. 大脑百科灰质

如果把 自注意力 比作四处跑腿的“图书搬运工”,负责在当前文章里把前后线索搬到一起,那么 FFN 就是模型真正的“大脑灰质与长期记忆库”。

当你问模型“法国的首都是哪里”时,注意力先把“法国”和“首都”这两个词的线索汇聚到当前位置;接着送进 FFN,FFN 根本不看其他词,而是拿着汇总好的线索直接翻查固化在权重矩阵里的世界知识,一锤定音把“巴黎”对应的语义信号推出来!

可 2017 年原版 Transformer 的 FFN 实在太朴素了:仅仅是“升维到 4d→ 过 ReLU 激活 → 降维回 d”。随着模型越做越大,ReLU 暴露出两个硬伤:一是负半轴直接拍成 0,导致大量神经元永久“脑死亡”(Dead ReLU);二是单一线性加激活的表达力有限。于是业界一路从 ReLU、GELU 演进到 Shazeer(2020)↗ 验证大获全胜的 SwiGLU。

核心设问

FFN 本质上到底在做什么运算?为什么在总参数量和计算量完全不变的前提下,把传统两层 MLP 改成多一个矩阵的“门控三矩阵” SwiGLU,模型效果却能全方位稳定变强?

02 核心直觉:键值知识库与“双通道安全阀” ​

理解现代 FFN / SwiGLU,只要抓住两个超好用的画面。

类比 · 画面一:把 FFN 看成一座“静态键值百科全书”

Geva 等人(2021)↗ 发现了一个惊人的同构:传统两层 FFN σ(xW1)W2 其实和自注意力长得一模一样!

  • 第一层矩阵 W1 的每一列,就是百科全书里的一条 索引模式(Key),比如“出现‘法国’且在问‘首都’”;
  • 激活函数 σ(⋅) 像一排开关,看看输入向量 x 命中了哪几条索引;
  • 第二层矩阵 W2 的对应行,就是那条索引背后储存的 知识载荷(Value),比如“把输出概率往‘巴黎’方向推一把”。

区别只在于:注意力查的是当前文章里临时出现的上下文,而 FFN 查的是预训练时死死刻进权重参数里的海量长期记忆。

类比 · 画面二:SwiGLU 就像给水流装了一扇智能“门控阀”

传统的 ReLU / GELU FFN 只有一根管子:信息进来先线性变换,再过激活函数筛选,最后输出。

SwiGLU 把这根管子劈成了并行的两条通道:

  • 内容通道(Wup):保持原汁原味的线性信息流,负责“把候选知识搬出来”;
  • 门控通道(SiLU(xWgate)):充当一扇精细的智能调节阀,专门根据当前语境决定“哪些特征该全速放行、哪些该关小、哪些该彻底掐断”。

两条通道的结果逐元素相乘,就像特征之间发生了二阶乘性交互——同样多的参数预算下,筛选知识的精准度和非线性表达能力直接上了一个台阶。

03 把关键公式读成人话 ​

现代 LLaMA、Qwen、DeepSeek 几乎清一色采用的 SwiGLU 公式如下:

FFNSwiGLU(x)=(SiLU(xWgate)⊙(xWup))Wdown

把公式读成直觉:- xWup:升维投影,把 d 维输入展开成更宽的候选特征空间(dff 维);

  • SiLU(xWgate):门控投影加上平滑激活 SiLU(z)=z⋅σ(z)(正区接近线性,负区平滑过渡而不像 ReLU 那样一刀切死),算出一组控制开关强度;
  • ⊙:两个同样宽度的向量按位逐点相乘,用门控信号给内容通道做动态放行;
  • Wdown:把筛选好的高维知识压缩回 d 维,准备叠加回主干 残差流。

这里藏着一个面试和读源码时必问的神奇数字:为什么传统 FFN 中间层是 4d,而 SwiGLU 偏偏要设成 83d(约 2.67d)?

Pstd=2⋅(d×4d)=8d2⟺PSwiGLU=3⋅(d×dff)=8d2⟹dff=83d

83d 原来是为了“算力与参数守恒”!:因为 SwiGLU 比传统两矩阵 FFN 多出了一个门控矩阵(从 2 个矩阵变成 3 个矩阵),如果中间层还傻傻保持 4d,总参数量就会暴涨 50%(变成 12d2)。为了在完全相同的参数预算(8d2)和计算量下公平竞争,只需把宽度按 23 缩窄到 83d(工程上再向上凑成 256 的倍数,比如 LLaMA-1 7B 中 4096×83≈10922→11008)。结果在完全同等的开销下,SwiGLU 稳稳赢过 ReLU 和 GELU!

04 它在模型里怎么工作 & 与上下游的关系 ​

FFN 处在每个 Transformer 块的下半场,也是大模型“扩容”与“瘦身”的主战场:

  • 上游与同层搭档:数据从 自注意力 出来并加回 残差流 后,先过一层 RMSNorm 稳住尺度,再送进 SwiGLU FFN 加工。
  • 往大了扩——稀疏混合专家(MoE):既然 FFN 占了全网三分之二的参数且专职存知识,那把一个大 FFN 拆成几十甚至几百个小 SwiGLU 专家、每次按需挑几个激活,就诞生了 Mixtral、DeepSeek-V3 等旗舰 MoE 架构!
  • 往小了缩与微调:因为大量知识集中在 FFN 里,做领域知识注入时在 FFN 矩阵挂载 LoRA 适配器 收益极高;而由于 FFN 神经元激活高度稀疏(单次输入只亮起一小部分通道),它也是 剪枝与蒸馏 以及 模型量化 的头号靶点。

05 演化对比:从 ReLU 到 SwiGLU 怎么选? ​

保持总参数量同为 8d2 时,主流 FFN 变体经历了从“硬切门”到“平滑乘性门控”的清晰跃迁:

FFN 变体矩阵数量对齐宽度 dff核心特性代表模型
ReLU FFN24d稀疏度极高,但易神经元死亡原始 Transformer, OPT
GELU FFN24d负区平滑可微,缓解死神经元BERT, GPT-2 / GPT-3
GeGLU383dGELU 门控,强于非门控 MLPT5 v1.1, Gemma-1 / 2
SwiGLU383d(或 3.5d)SiLU 门控,硬件友好且表现最佳PaLM, LLaMA, Qwen, DeepSeek

工程上为何普遍偏爱 SwiGLU 胜过同样出色的 GeGLU?因为 SiLU 底层只需一次极简的 Sigmoid(x1+e−x),而 GELU 涉及高成本的误差函数 erf 或三次多项式近似——在大规模 GPU 算子融合中,SwiGLU 既省算力又丝毫不输精度。

06 三个最容易踩的工程坑 ​

  1. SwiGLU 的 down_proj 是量化头号雷区:因为 SiLU(gate) * up 把两个线性投影结果直接相乘,数值分布会出现二次放大效应,极易在 down_proj 输入端冒出幅值高达数千的“超级异常值(Massive Outliers)”(Fishman et al., 2025 ↗)。做 INT4/FP8 量化时,这一层最容易掉点,需要配合 SmoothQuant / AWQ 或保留更高精度。
  2. 合并 gate_up_proj 提速时,张量并行切分千万别切错:工业界常把 gate_proj 和 up_proj 拼成一个 d→2dff 的大矩阵,把显存读取减半;但做 张量并行(TP) 切给两张卡时,切记不能直接拦腰一刀切(否则卡 0 全是 gate、卡 1 全是 up),必须让每张卡同时拿到成对的 gate_i 和 up_i。
  3. 利用 GQA 省下的参数反哺 FFN:像 LLaMA-3 8B 采用 GQA 省下了大量注意力权重,团队把省出来的参数预算直接加宽了 FFN(扩到 3.5d=14336),比单纯堆更深的层数知识密度更高、推理更快。

想查看 GELU / SiLU 完整导数公式、LLaMA 维度对齐代码以及 SwiGLUFFN 与融合版 FusedSwiGLUFFN 的数值等价校验实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在标准的稠密 Transformer 架构中,逐位置前馈网络(Position-wise Feed-Forward Network, FFN) 占据了整个模型约 23 的非嵌入参数量。尽管 自注意力机制 备受瞩目,大量机制可解释性研究证明:如果说注意力负责在序列中“移动与聚合上下文”,那么 FFN 才是模型储存世界知识、执行非线性特征组合与逻辑映射的真正“大脑灰质”,也是后续 稀疏混合专家(MoE) 架构与 低秩微调(LoRA) 的核心扩展靶点。现代大模型已全面从原始 ReLU FFN 演进至以 SwiGLU 为代表的门控线性单元架构。

直观理解

可以把 FFN 想象成一座巨大的 “神经键值知识库”:输入向量先与第一层权重矩阵(上万条“模式匹配键 Key”)做点积,激活函数像开关一样筛选出当前语境命中的若干条记忆(例如“法国”+“首都”),再乘以第二层权重矩阵对应的“值向量 Value”(例如提升“巴黎”对应的语义方向)。而 SwiGLU 则额外增加了一扇动态“门控阀”,让信息必须同时通过内容通道与门控通道的双重校验,大幅增强了非线性表征效率。

问题动机与演进背景 ​

2017 年原始 Transformer 中的 FFN 是一个极简的两层全连接感知机(MLP),隐藏层先升维至 4d 再降回 d:

FFNReLU(x)=max(0,xW1+b1)W2+b2

随着模型参数与语料规模扩大,传统 ReLU FFN 暴露出两方面瓶颈:

  1. 神经元死亡与阶跃导数:ReLU 在 x<0 区间导数恒为 0,容易导致大量神经元永久失活(Dead ReLU);在 x=0 处不可微也不利于深层大批量优化平滑收敛。为此,BERT 和 GPT-2/3 先后转向更平滑的 GELU(Gaussian Error Linear Unit)。
  2. 表达能力受限于单一加性变换:纯逐元素激活缺乏特征间的乘性交互(Multiplicative Interaction)。2016 年 Dauphin 等人在语言模型卷积网络中提出 GLU(Gated Linear Units),2020 年 Noam Shazeer 在《GLU Variants Improve Transformer》中系统验证了将 GLU 与 GELU/Swish 结合的 GeGLU 与 SwiGLU——在完全相同的参数量与计算量下,SwiGLU 在几乎所有语言建模与下游基准上均稳定碾压传统 ReLU/GELU FFN,最终被 PaLM、LLaMA、Qwen、Mistral、DeepSeek 等全系现代大模型采纳。

核心原理与数学推导 ​

FFN 作为 Key-Value 记忆的数学视角 ​

Geva 等人(2021)提出了揭示 FFN 内部工作机理的经典视角。忽略偏置项,记升维矩阵 W1∈Rd×dff 的列向量为 k1,…,kdff∈Rd,降维矩阵 W2∈Rdff×d 的行向量为 v1,…,vdff∈Rd,则两层 FFN 可改写为:

FFN(x)=σ(xW1)W2=∑i=1dffσ(x⊤ki)⋅vi

这与自注意力公式 ∑jα(q⊤kj)vj 惊人地同构!区别仅在于:

  • 注意力检索的是当前输入上下文动态生成的 Key-Value;
  • FFN 检索的是固化在模型权重参数里的 dff 对静态全局 Key-Value(且无需 Softmax 归一化,允许多个知识条目并发叠加)。

激活函数族演进:ReLU → GELU → SiLU(Swish) ​

  1. ReLU:ReLU(x)=max(0,x)
  2. GELU(Hendrycks & Gimpel, 2016):按标准正态分布累积分布函数 Φ(x) 随机门控输入,兼具平滑性与微小负区梯度:GELU(x)=x⋅Φ(x)=x2[1+erf(x2)]≈0.5x(1+tanh[2π(x+0.044715x3)])
  3. SiLU / Swish(Ramachandran et al., 2017):当 β=1 时称为 SiLU(Sigmoid Linear Unit),计算仅需单次 Sigmoid,硬件融合效率高于 GELU 的误差函数 erf:SiLU(x)=Swish1(x)=x⋅σ(x)=x1+e−x其导数具备简洁的自引用形式:SiLU′(x)=σ(x)(1+x(1−σ(x)))=SiLU(x)+σ(x)(1−SiLU(x))

GLU 家族与 SwiGLU 的 83d 维度对齐推导 ​

GLU(门控线性单元) 将输入 x∈Rd 并行送入两条线性分支——一条经过非线性激活形成“门控信号”,另一条保持线性作为“内容载荷”,二者逐元素相乘后再经降维投影返回 d 维空间(现代架构通常省略偏置项):

GLU(x)=σ(xWgate)⊙(xWup)

将激活函数 σ 分别替换为 SiLU 或 GELU,即得到 SwiGLU 与 GeGLU:

FFNSwiGLU(x)=(SiLU(xWgate)⊙(xWup))WdownFFNGeGLU(x)=(GELU(xWgate)⊙(xWup))Wdown

为什么现代大模型将 SwiGLU 的隐藏维度 dff 设为 83d?

对比两矩阵传统 FFN 与三矩阵 SwiGLU FFN 的参数量(忽略偏置):

  • 传统两矩阵 FFN(扩展比 4×):W1∈Rd×4d、W2∈R4d×d,总参数量为:Pstd=2×(d⋅4d)=8d2
  • SwiGLU 三矩阵 FFN:Wgate,Wup∈Rd×dff、Wdown∈Rdff×d,总参数量为:PSwiGLU=3⋅d⋅dff

令两者参数量与 FLOPs 严格守恒 3d⋅dff=8d2,解得:

dff=83d≈2.667d

在工程实现(如 LLaMA 系列)中,还会将 83d 向上取整至硬件友好倍数 M(如 M=256):

dff=M⋅⌈⌊23⋅4d⌋M⌉

例如 LLaMA-1 7B 中 d=4096,计算得 83×4096=10922.67,向上对齐至 256 的倍数即 11008;而在 LLaMA-3 8B 中,由于采用 GQA 节省了大量注意力参数,团队特意将 dff 扩增至 14336(3.5d),把省下的参数预算重新投入知识容量更高的 FFN 中!

算法架构与数据流图 ​

图表加载中...

复杂度与横向对比表 ​

设隐藏维度为 d,序列长度为 N,保持总参数量恒定为 8d2:

FFN 变体投影矩阵数对齐中间维度 dff单词元 FLOPs激活稀疏度代表模型
ReLU FFN24d16d2极高(约 80%∼95% 零值)原始 Transformer, OPT
ReLU² FFN24d16d2极高且导数连续Primer, Nemotron-4
GELU FFN24d16d2中等(负区微弱非零)BERT, GPT-2, GPT-3, Falcon
GeGLU383d16d2中高(门控筛选)T5 v1.1, Gemma-1/2
SwiGLU383d(或扩至 3.5d)16d2高(兼顾平滑梯度与强门控)PaLM, LLaMA-1/2/3, Qwen, DeepSeek

核心 PyTorch 参考实现 ​

下面提供标准 SwiGLU 模块,以及工业界常用的融合门控投影(Fused Gate+Up GEMM) 优化写法对比:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


def compute_swiglu_hidden_dim(d_model: int, multiple_of: int = 256, multiplier: float = 1.0) -> int:
    """按 LLaMA 规范计算 8/3 * d 并向上对齐至 multiple_of 的整数倍"""
    hidden_dim = int(2 * (4 * d_model) / 3)
    hidden_dim = int(multiplier * hidden_dim)
    return multiple_of * ((hidden_dim + multiple_of - 1) // multiple_of)


class SwiGLUFFN(nn.Module):
    """标准分离投影写法:结构清晰,权重命名与 HuggingFace LLaMA/Qwen 一致"""
    def __init__(self, d_model: int, hidden_dim: int):
        super().__init__()
        self.gate_proj = nn.Linear(d_model, hidden_dim, bias=False)
        self.up_proj = nn.Linear(d_model, hidden_dim, bias=False)
        self.down_proj = nn.Linear(hidden_dim, d_model, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, N, d_model] -> [B, N, hidden_dim] -> [B, N, d_model]
        gate = F.silu(self.gate_proj(x))
        up = self.up_proj(x)
        return self.down_proj(gate * up)


class FusedSwiGLUFFN(nn.Module):
    """工程优化写法:将 gate_proj 与 up_proj 合并为单次大矩阵乘法,减少 Kernel 启动与内存读入"""
    def __init__(self, d_model: int, hidden_dim: int):
        super().__init__()
        self.gate_up_proj = nn.Linear(d_model, 2 * hidden_dim, bias=False)
        self.down_proj = nn.Linear(hidden_dim, d_model, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # x: [B, N, d_model] -> [B, N, 2 * hidden_dim]
        gate, up = self.gate_up_proj(x).chunk(2, dim=-1)
        return self.down_proj(F.silu(gate) * up)


if __name__ == "__main__":
    d = 4096
    d_ff = compute_swiglu_hidden_dim(d, multiple_of=256)
    print(f"d_model={d} -> aligned SwiGLU hidden_dim={d_ff}")  # 11008

    # 验证分离与融合版本数值等价
    x = torch.randn(2, 16, 256)
    std_ffn = SwiGLUFFN(256, 768)
    fused_ffn = FusedSwiGLUFFN(256, 768)
    with torch.no_grad():
        fused_ffn.gate_up_proj.weight.copy_(
            torch.cat([std_ffn.gate_proj.weight, std_ffn.up_proj.weight], dim=0)
        )
        fused_ffn.down_proj.weight.copy_(std_ffn.down_proj.weight)
    diff = (std_ffn(x) - fused_ffn(x)).abs().max().item()
    print(f"Fused vs Standard max diff: {diff:.2e}")

工程实践与常见陷阱 ​

工程实践

  1. 融合 gate_up_proj 提升 GPU 吞吐:在推理与 Megatron-LM 训练中,将 gate_proj 和 up_proj 沿输出维度拼接为单一线性层 gate_up_proj(维度 d→2dff),可将输入张量 x 从 HBM 读取的次数减半,在解码期(Memory-Bound)带来明显提速;配合 Triton 融合 SiLU(gate) * up 算子还能进一步省去中间激活显存读写。
  2. 张量并行(Tensor Parallelism)切分策略:SwiGLU 完美适配 Megatron-LM 风格的列并行-行并行切分——将 gate_proj 与 up_proj 按输出维度列切分(Column Parallel),各自在本地卡计算 SiLU(gate) * up 后,再对 down_proj 做行切分(Row Parallel),整层 FFN 仅需末端一次 All-Reduce 通信。
  3. 利用 GQA 省出的参数加宽 FFN:采用 GQA 后注意力参数量缩减,将省下的参数配额转移至 FFN(将 dff 从 2.67d 提高至 3.5d∼4d)通常比单纯增加层数具有更高的知识密度与推理吞吐。

常见陷阱

  1. SwiGLU 中的“大异常值(Massive Outliers)”与量化难题:由于 SwiGLU 包含两个投影分支的乘积 SiLU(gate) * up,其输出分布呈二次放大效应,极易在 down_proj 的输入端产生幅值高达数百甚至数千的通道异常值(Outliers)。这使得 down_proj 成为全模型对 INT8/INT4 量化最敏感的层,通常需要配合 SmoothQuant 或 AWQ 等异常值迁移策略,或将其保留为更高精度。
  2. 张量并行下误将合并矩阵直接均分:若使用 FusedSwiGLUFFN,在 TP 切分时切忌直接把 2 * hidden_dim 简单对半切给两张卡(否则卡 0 只有 gate、卡 1 只有 up),而必须确保每张卡同时持有对应切片的 gate_i 与 up_i!
  3. 重计算显存账本误算:与传统两矩阵 FFN 相比,SwiGLU 在反向传播时需同时保存 gate 与 up 的前向中间激活,激活显存比同等参数量的 ReLU FFN 略高(约多出一个 dff 中间张量),开启激活检查点或融合 Triton Kernel 可抵消此开销。

延伸阅读与参考论文 ​

  • GLU 原始提出:Dauphin et al., Language Modeling with Gated Convolutional Networks, ICML 2017 (arXiv:1612.08083 ↗).
  • SwiGLU 与 GeGLU 奠基:Shazeer, GLU Variants Improve Transformer, arXiv:2002.05202 ↗, 2020.
  • FFN 键值记忆可解释性:Geva et al., Transformer Feed-Forward Layers Are Key-Value Memories, EMNLP 2021 (arXiv:2012.14913 ↗).
  • SwiGLU 激活稀疏与量化异常值分析:Fishman et al., Scaling FP8 Training to Trillion-Token LLMs, ICLR 2025 (arXiv:2409.12517 ↗).