Skip to content

归一化机制:LayerNorm、RMSNorm 与 QK-Norm

对比 BN/LN/RMSNorm 推导,剖析 Pre/Post/Sandwich-Norm 梯度流与 QK-Norm。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是归一化层(LayerNorm / RMSNorm / QK-Norm)?

信号在几十上百层神经网络里反复做矩阵乘法,数值很容易越乘越大(爆炸成 NaN)或越乘越小(归零消失)。归一化层(Normalization) 就像每一层门口的“稳压器”,在数据进入注意力或前馈网络前,把每个词向量的数值尺度强行拉回稳定范围。

LayerNorm 先减均值再除标准差;现代大模型普遍采用更轻快的 RMSNorm(省去减均值,只按均方根缩放);而 QK-Norm 则是额外给注意力里的 Q、K 向量各自装上稳压器,专治超大模型训练时注意力分数失控发散。

01 问题从何而来:为什么深层网络一训就“音量失控”? ​

把一个几十层甚至上百层的 Transformer 跑起来,信号每经过一层矩阵乘法和激活函数,数值就可能被悄悄放大 1.2 倍或缩小到 0.8 倍。1.2 连乘 80 层是两百多万,0.8 连乘 80 层几乎归零——前向激活不是直接爆成 NaN,就是彻底衰减消失;到了 反向传播 时,梯度同样要么炸上天(Loss Spike),要么传不到浅层。

在图像领域(CNN)里,大家最熟悉的是 BatchNorm(批归一化)——把同一批里的 64 张图片放在一起算平均亮度和对比度。可搬到大语言模型里,BatchNorm 立刻水土不服:

  • 句子有长有短,末尾补的填充词 <pad> 会把整批统计量彻底搅浑;
  • 大模型显存吃紧,单卡微批大小经常小到只有 1 或 2,跨样本算均值方差全是噪声;
  • 推理时是一个词一个词往外吐,根本没法像图像那样套用固定滑动统计。

于是 NLP 全面转向每个词元只管自己内部维度的 LayerNorm(Ba et al., 2016 ↗),并进一步演化出更快更简的 RMSNorm(Zhang & Sennrich, 2019 ↗),以及守卫百亿模型不崩盘的 Pre-Norm、Sandwich-Norm 与 QK-Norm。

类比 · 接力赛里的“随身调音师”

把百层 Transformer 想象成一场 80 棒的声音接力赛,每个词元是一段多声道音频。如果没有归一化,传到第 20 棒时声音可能已经震破耳膜(数值溢出)或微弱得听不见(梯度消失)。

  • LayerNorm 像一位严谨的调音师:每一棒先算出这段音频的平均直流偏置并归零(减均值),再把整体响度调到标准分贝(除标准差),最后按需微调各声道增益(γ,β)。
  • RMSNorm 则是一位懂物理的极简主义调音师:他发现“把均值归零”对模型几乎没带来额外好处,直接按总能量(均方根)把响度归一到标准音量,效果一模一样,还能省掉 15%~30% 的调音耗时!
核心设问

归一化不仅要选“用什么算子”(LayerNorm 还是 RMSNorm),更关键的是“放进残差块的哪个位置”——放在加法前面(Pre-Norm)还是后面(Post-Norm),为什么会彻底改写百层大模型的生死命运?

02 核心直觉:Pre-Norm、Post-Norm 与防爆音限幅器 QK-Norm ​

归一化层的摆放位置,是 Transformer 从 12 层跨越到上百层的分水岭。

类比 · 高速公路收费站:Post-Norm vs. Pre-Norm vs. Sandwich-Norm

把 残差连接 想象成一条贯穿全网的中央高速公路,每一层子模块(注意力 / FFN)是路边的一家加工厂:

  • Post-Norm(2017 原版 Transformer / BERT):把归一化检查站直接修在高速公路主干道上!每过一层,主干车流都要被强行拦停、重新缩放一遍。反向传播时梯度每过一个主干检查站大约打折 12,跨过 50 层后浅层梯度直接衰减殆尽,没有极细致的 学习率预热 立马训崩。
  • Pre-Norm(GPT-2 / LLaMA / 现代主流):把检查站挪到加工厂入口的匝道上!中央高速主干道一路畅通无阻(恒等直通),反向梯度可以无损直达最底层,百层深网开箱即稳。唯一的小代价是:主干道车流越汇越多(方差随层数线性膨胀),走到最顶层时,单个工厂新汇入的车流显得太渺小,深层表达力略打折扣。
  • Sandwich-Norm(Gemma-2, 2024 ↗):既保留主干道畅通,又在加工厂的入口和出口各设一个检查站——既保证梯度直通,又绝不允许某个工厂突然往主干道里倾倒巨幅尖峰噪音。

而到了百亿参数、高学习率训练时代,就算用了 Pre-Norm,自注意力 内部依然会时不时突然爆炸(Loss Spike):因为只要投影矩阵 WQ,WK 的权值慢慢变大,算出来的 Q 和 K 模长一路狂飙,点积 QK⊤ 瞬间突破天际,把 Softmax 拍成极端尖峰。

类比 · QK-Norm:装在注意力麦克风前的“硬件防爆音限幅器”

QK-Norm(ViT-22B, 2023 ↗,现已成 Qwen3、Gemma-2、OLMo-2 标配)的解法极其直白:在 Q 和 K 碰头做点积(以及旋转位置编码)之前,先各自强行过一遍 RMSNorm!

不管前面权重怎么折腾,经过限幅器后,Q 和 K 的模长被死死锁在 dh 附近。根据柯西-施瓦茨不等式,注意力分数被从数学上戴上了“天花板紧箍咒”,再也没法无限爆炸,模型可以用更激进的学习率稳如泰山地跑完整趟预训练。

03 把关键公式读成人话 ​

对比 LayerNorm 与现代标配 RMSNorm 的核心公式:

RMS(x)=1d∑i=1dxi2+ϵ,RMSNorm(x)=xRMS(x)⊙γ

**把公式读成直觉:**把 xRMS(x) 稍微改写一下,它其实严格等于 d⋅x∥x∥2!

这句话翻译成几何人话就是:RMSNorm 不管向量原本有多长,统统按原方向把它们缩放并投射到半径为 d 的同一个超球面上,然后再乘以每个通道专属的可学习微调系数 γ。因为不需要先扫一遍求均值 μ、再扫一遍求方差,也不需要偏置项 β,在 GPU 显存带宽受限的逐元素算子上直接快了 15%~30%!

再看 Pre-Norm 为什么比 Post-Norm 稳那么多(Xiong et al., 2020 ↗):

Pre-Norm: xl+1=xl+Fl(Norm(xl))⟹∂L∂xl=∂L∂xL(I+∑k=lL−1∂Fk∂xl)

那个孤独的单位矩阵 I 就是保命符:Pre-Norm 展开反向传播后,括号里稳稳站着一个恒等项 I——不管后面几十层子网络怎么拐弯抹角,顶层的误差信号都能顺着 I 这条“直通电梯”一字不差地送到最浅层;而在 Post-Norm 里,xl 也被套进了 Norm(...) 里,电梯被拆掉了,梯度每层都要被打折缩放,深了就必然消失或失衡。

04 它在模型里怎么工作 & 与上下游的关系 ​

归一化像水泥一样嵌在 Transformer 的每个接缝里,和多个模块强耦合:

  • 与 残差连接 互为表里:Pre-Norm 虽然稳,却让残差流方差越积越大,这也是为什么后来演化出既想保 Post-Norm 表达力又能训千层的 DeepNorm,以及多流并行的 Hyper-Connections。
  • 与 RoPE 严守先后次序:如果模型同时启用 QK-Norm 和 RoPE,数据流必须严格按 Linear → QK-Norm → RoPE → Attention 排布;绝对不能反过来先转 RoPE 再做 QK-Norm,否则逐通道乘以不同的 γ 会把二维旋转圆盘压成椭圆,直接毁掉相对位置性质!
  • 与 混合精度训练 和 优化器 协同防爆:归一化算子虽然参数极少,但一旦在低精度下溢出,整张计算图瞬间全变 NaN,是万卡集群稳训的第一道防线。

05 演化对比:现代大模型怎么搭归一化组合拳? ​

从 BatchNorm 到今天的“Pre-RMSNorm + Sandwich / QK-Norm”,每一代迭代都在解决更大规模下的数值崩溃痛点:

机制 / 拓扑统计范围额外参数/层深层稳训性典型代表
BatchNorm跨样本 (B,N)2d序列场景差ResNet (CV)
Post-LayerNorm单词元 d 维2d弱(深层易崩)原始 Transformer, BERT
Pre-RMSNorm单词元均方根d强(现代标配)LLaMA, Qwen2.5, DeepSeek
Sandwich-Norm子层前后双 Norm2d/子层极强(防尖峰)Gemma-2, OLMo-2
QK-Norm逐头 Q,K 归一化2dh 或 2d根治注意力爆炸ViT-22B, Qwen3, Gemma-2

今天从零训练一个中大型语言模型,最省心的黄金配方就是:主干用 Pre-RMSNorm 保证百层梯度直通,注意力入口叠一层 QK-Norm 封死 Logits 爆炸,若上极大学习率或深层架构再补上 Sandwich-Norm 限制单层写入幅度。

06 三个最容易踩的工程坑 ​

  1. 平方均值必须用 FP32 算:在 FP16/BF16 训练中,一旦某个异常激活达到 300,一平方就是 90000,直接冲破 FP16 上限(65504)变 Inf。实现 RMSNorm/LayerNorm 时,务必先 .float() 转 FP32 算完 rsqrt,再转回半精度。
  2. 千万别给归一化权重加 Weight Decay:配置 AdamW 时,必须把所有 1D 归一化缩放向量 γ 的权重衰减设为 0.0,否则优化器会不断把信号增益往 0 拉,平白损伤表达力。
  3. Pre-Norm 最后一层别漏掉 final_norm:因为 Pre-Norm 主干残差流从未被整体归一化过、方差越滚越大,进 LM Head 输出词表 Logits 之前必须补最后一道 RMSNorm,否则初始 Logits 尺度极大极难收敛。

想查阅 Post-Norm 梯度指数衰减的完整推导、三种拓扑数据流图以及含 FP32 安全累加的 QKNormSandwichAttentionBlock 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

深层神经网络训练的核心难题在于激活值与梯度在跨层 反向传播 中的尺度漂移。归一化层(Normalization) 通过将隐状态重新拉回稳定的数值分布区间,与 残差连接、混合精度训练 及 优化器 协同作用,使百亿乃至万亿参数的 Transformer 能够以更大学习率平稳收敛。在 LLM 演进史上,归一化机制历经了两条主线的迭代:算子形式从 BatchNorm → LayerNorm → RMSNorm;拓扑位置从 Post-Norm → Pre-Norm → Sandwich-Norm 与 自注意力 内部的 QK-Norm。

直观理解

如果把深度 Transformer 比作一场数十棒的接力赛,每一棒都会放大或缩小信号音量。LayerNorm 像是一位严谨的调音师,先把每个词元向量的平均音量归零(去中心化),再把振幅统一调到标准分贝(方差缩放);RMSNorm 发现“归零”其实并非必需,直接按能量大小缩放振幅效果一样好还省了一半调音时间;而 QK-Norm 则是专门装在注意力打分入口的“限幅器”,防止两个大音量信号相乘后直接“爆音”(Softmax 饱和崩溃)。

问题动机与演进背景 ​

在计算机视觉(CNN)中取得巨大成功的 BatchNorm(批归一化) 沿批次维度 B 与空间维度统计均值和方差,但在 NLP 与 LLM 序列建模中存在三大水土不服:

  1. 变长序列统计失真:不同句子长度不一,填充词元(<pad>)会污染跨样本均值与方差;
  2. 微批(Micro-Batch)失效:大模型训练受显存限制,单卡微批大小常小至 1 或 2,批统计量噪声极大;
  3. 推理-训练不一致:自回归解码逐词元推进,难以维护合理的滑动统计量(Running Mean/Var)。

为此,Transformer 全面转向逐词元独立计算的 LayerNorm,随后为了进一步降低访存开销演进为 RMSNorm。与此同时,当模型深度突破 24 层乃至上百层时,研究者发现归一化层放在残差加法“之后”(Post-Norm)还是“之前”(Pre-Norm)会彻底改变梯度动力学,甚至催生了针对百亿模型注意力崩塌的 QK-Norm。

核心原理与数学推导 ​

1. LayerNorm vs RMSNorm 数学推导与速度优势 ​

给定单个词元的隐藏特征向量 x∈Rd:

LayerNorm(Ba et al., 2016) 先计算通道均值 μ 与方差 σ2,执行去中心化(Re-centering)与重缩放(Re-scaling),再施加可学习仿射变换 γ,β∈Rd:

μ=1d∑i=1dxi,σ2=1d∑i=1d(xi−μ)2LayerNorm(x)=x−μσ2+ϵ⊙γ+β

RMSNorm(Root Mean Square Layer Normalization, Zhang & Sennrich, 2019) 提出假设:LayerNorm 的核心增益来自重缩放不变性(Re-scaling Invariance) 而非平移去中心化不变性。因此直接省去均值计算与偏置项 β,仅用均方根 RMS(x) 归一化:

RMS(x)=1d∑i=1dxi2+ϵRMSNorm(x)=xRMS(x)⊙γ

几何意义与速度优势分析:

  • 从几何视角看,xRMS(x)=d⋅x∥x∥2,相当于把所有词元向量投影到半径为 d 的超球面上,天然保持了向量方向不变性。
  • 在 GPU 硬件执行层面,归一化属于典型的显存带宽受限(Memory-Bound) 逐元素规约算子。LayerNorm 需要先扫描 x 求 μ,再计算 (x−μ)2 求 σ2(若不采用 Welford 在线算法需两遍读取),并额外读写偏置 β;RMSNorm 只需单次规约 ∑xi2,减少了约 15%~30% 的归一化核运行时间与显存访问量,且在大规模预训练中效果与 LayerNorm 完全持平,因此成为 LLaMA、Qwen、Mistral、DeepSeek 的绝对标配。

2. Post-Norm vs Pre-Norm 梯度分析 ​

对比两种经典残差块结构(记子层变换为 Fl,归一化为 Norm):

  • Post-Norm(原始 Transformer, BERT):xl+1=Norm(xl+Fl(xl))
  • Pre-Norm(GPT-2, LLaMA, 现代主流):xl+1=xl+Fl(Norm(xl))

严格梯度动力学分析(Xiong et al., 2020):

考察归一化层的雅可比缩放效应:若输入向量方差为 Var(z),归一化 z^=z/Var(z) 的反向导数尺度满足 ‖∂z^∂z‖∝1Var(z)。

  1. 在 Post-Norm 中,假设初始时 Var(xl)≈1 且 Var(Fl(xl))≈1,则相加后 Var(xl+Fl(xl))≈2,经过归一化反向传播每跨过一层梯度就被乘以一个约 12 的因子。反向经过 L 层后,靠近输入端的浅层梯度呈指数级衰减:‖∂L∂x1‖∝(12)L‖∂L∂xL‖同时顶层输出层(靠近 Loss)梯度相对极大,导致不加精细的学习率预热(Warmup)就必然训练发散。
  2. 在 Pre-Norm 中,展开递归式可得直通主干道:xL=x0+∑l=0L−1Fl(Norm(xl))其反向梯度包含恒等项 I:∂L∂xl=∂L∂xL(I+∑k=lL−1∂Fk(Norm(xk))∂xl)恒等直通路径确保梯度无衰减地直达最浅层,训练极其稳定,几乎无需严苛预热。但 Pre-Norm 也带来一个经典副作用——深层表征坍塌(Representation Collapse):由于残差流方差随层数线性累积 Var(xl)=O(l),深层新增项 Fl(Norm(xl)) 的模长相对于庞大的主干 xl 占比越来越小(约 O(1/l)),削弱了极深层的特征变换能力(这也是为何需要残差末端加一层 Final Norm)。

3. Sandwich-Norm 与 QK-Norm ​

为兼顾 Pre-Norm 的训练稳定性与 Post-Norm 的强特征表达,前沿大模型演化出两项重要补丁:

  1. Sandwich-Norm(CogView / Gemma-2): 在每个子层的输入前和输出后各放一个 RMSNorm(夹在残差分支内部,依然保留主干恒等直通):

    xl+1=xl+RMSNormpost(Fl(RMSNormpre(xl)))

    这样既保住了 Pre-Norm 的恒等梯度高速公路,又强行约束了每个子层写入残差流的幅度不会出现巨幅异常尖峰,有效防止深层激活爆炸(Gemma-2、CogView、OLMo-2 均采用此类变体)。

  2. QK-Norm(Dehghani et al., ViT-22B; Wortsman et al., 2023; Qwen3 / Gemma-2 / OLMo-2): 在百亿参数大模型或高学习率训练中,注意力层极易出现 Attention Logits 爆炸:即便输入 x 已经过 Pre-Norm,只要权重 WQ,WK 的奇异值缓慢增长,点积 q⊤k/dh 仍会失控,引发注意力熵坍塌与剧烈 Loss Spike。 QK-Norm 的解法极其简洁——在施加 RoPE 之前,对每个注意力头的 Q 与 K 向量分别执行一次独立的 RMSNorm(或 LayerNorm):

    q~t,h=RoPE(RMSNormQ(qt,h)),k~t,h=RoPE(RMSNormK(kt,h))

    由于归一化后 ∥q~∥2=∥k~∥2≈dh(在 γ≈1 时),柯西-施瓦茨不等式从数学上直接锁死了注意力分数的上界:

    |q~⊤k~dh|≤∥q~∥2∥k~∥2dh≈dh

    这从根源上杜绝了 Attention Logits 发散,使得 Qwen3、OLMo-2、ViT-22B 等模型在极大学习率下依然平滑无尖峰。

算法架构与数据流图 ​

图表加载中...

复杂度与横向对比表 ​

归一化机制 / 拓扑统计维度额外可学习参数(单层)数值稳训能力表达与收敛质量代表模型
BatchNorm(B,N) 跨样本2d序列场景差不适配自回归ResNet(CV 主流)
LayerNorm (Post)单词元 d 维2d弱(深层需严苛 Warmup)浅中层表达极强原始 Transformer, BERT
RMSNorm (Pre)单词元 d 维(仅均方根)d强(恒等残差直通)极深层略有冗余LLaMA-1/2/3, Qwen2.5, DeepSeek
Sandwich-Norm子层前后双 RMSNorm2d(每子层)极强(抑制尖峰写入)优于纯 Pre-NormCogView, Gemma-2, OLMo-2
QK-Norm逐头 dh 维(或全 d 维)2dh(头共享)或 2d彻底消除 Attention 爆炸支持更大学习率,收敛更稳ViT-22B, Gemma-2, Qwen3

核心 PyTorch 参考实现 ​

下面给出数值安全(FP32 内部累加)的 RMSNorm 以及集成 QK-Norm 与 Sandwich-Norm 的现代注意力块实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


class RMSNorm(nn.Module):
    def __init__(self, dim: int, eps: float = 1e-6):
        super().__init__()
        self.eps = eps
        self.weight = nn.Parameter(torch.ones(dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # 关键实践:先转 FP32 计算平方均值,避免 BF16/FP16 下溢或精度截断
        input_dtype = x.dtype
        x_fp32 = x.float()
        inv_rms = torch.rsqrt(x_fp32.pow(2).mean(dim=-1, keepdim=True) + self.eps)
        out = (x_fp32 * inv_rms).to(input_dtype)
        return out * self.weight


class QKNormSandwichAttentionBlock(nn.Module):
    """集成了 QK-Norm 与 Sandwich-Norm 的高稳定性注意力残差块"""
    def __init__(self, d_model: int, n_heads: int, eps: float = 1e-6):
        super().__init__()
        assert d_model % n_heads == 0
        self.n_heads = n_heads
        self.head_dim = d_model // n_heads

        # Sandwich-Norm: 子层前 + 子层后
        self.pre_attn_norm = RMSNorm(d_model, eps=eps)
        self.post_attn_norm = RMSNorm(d_model, eps=eps)

        self.w_q = nn.Linear(d_model, d_model, bias=False)
        self.w_k = nn.Linear(d_model, d_model, bias=False)
        self.w_v = nn.Linear(d_model, d_model, bias=False)
        self.w_o = nn.Linear(d_model, d_model, bias=False)

        # QK-Norm: 沿每个注意力头的 head_dim 独立归一化(Qwen3 / Gemma-2 风格)
        self.q_norm = RMSNorm(self.head_dim, eps=eps)
        self.k_norm = RMSNorm(self.head_dim, eps=eps)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, N, D = x.shape
        h = self.pre_attn_norm(x)

        q = self.w_q(h).view(B, N, self.n_heads, self.head_dim)
        k = self.w_k(h).view(B, N, self.n_heads, self.head_dim)
        v = self.w_v(h).view(B, N, self.n_heads, self.head_dim)

        # 对 Q、K 施加逐头 RMSNorm(若接入 RoPE,应紧接在 QK-Norm 之后)
        q = self.q_norm(q).transpose(1, 2)  # [B, H, N, d_h]
        k = self.k_norm(k).transpose(1, 2)  # [B, H, N, d_h]
        v = v.transpose(1, 2)

        attn_out = F.scaled_dot_product_attention(q, k, v, is_causal=True)
        attn_out = attn_out.transpose(1, 2).contiguous().view(B, N, D)
        attn_out = self.w_o(attn_out)

        # Sandwich-Norm 限制写入残差流的幅度
        return x + self.post_attn_norm(attn_out)


if __name__ == "__main__":
    block = QKNormSandwichAttentionBlock(d_model=512, n_heads=8)
    x = torch.randn(2, 32, 512, dtype=torch.bfloat16)
    block = block.to(torch.bfloat16)
    y = block(x)
    print("Output shape:", y.shape, "Output dtype:", y.dtype)

工程实践与常见陷阱 ​

工程实践

  1. FP32 规约累加铁律:在 BF16/FP16 混合精度训练中,RMSNorm/LayerNorm 内部的 x.pow(2).mean() 必须显式提升至 FP32,否则当激活值较大(如 xi≈300 时 xi2=90000)会在 FP16(上限 65504)下直接溢出为 Inf,或者在 BF16 中丢失尾数精度。
  2. 禁止对归一化权重施加 Weight Decay:在配置 AdamW 优化器参数组时,务必将所有 1D 归一化缩放参数 weight(γ)的 weight_decay 设为 0.0,避免把缩放系数拉向零导致有效信号萎缩(Gemma 系列改用 (1 + weight) 的零中心化参数化来缓解此问题)。
  3. QK-Norm 必须位于 RoPE 之前:RoPE 依赖正交旋转保持相对夹角;如果在 RoPE 之后再乘以可学习的逐通道缩放参数 γ,会破坏二维平面内两个坐标分量的各向同性,导致相对位置旋转畸变。正确顺序恒为:Linear -> QK-Norm -> RoPE -> SDPA。

常见陷阱

  1. 忽略 RMSNorm 的 eps 超参一致性:LLaMA-1/2 使用 eps=1e-6 或 1e-5,不同开源模型之间存在差异。推理部署或权重转换时若误用默认 1e-5 替代 1e-6,在激活值极小的深层会产生明显数值偏移。
  2. Pre-Norm 模型漏掉末端 final_norm:因为 Pre-Norm 残差流本身未经归一化、方差随层数持续累加,如果在最后一层之后直接接 lm_head,输出 Logits 尺度极大且极难训练。所有 Pre-Norm 架构必须在 LM Head 之前附加一层独立的末端归一化。
  3. Sandwich-Norm 与 Post-Norm 混淆:Sandwich-Norm 的后置归一化位于残差相加之前(x+Norm(F(Norm(x)))),绝不是在残差相加之后(Norm(x+F(Norm(x)))),否则会再次切断恒等梯度通路。

延伸阅读与参考论文 ​

  • LayerNorm 奠基:Ba et al., Layer Normalization, arXiv:1607.06450 ↗, 2016.
  • RMSNorm 提出:Zhang & Sennrich, Root Mean Square Layer Normalization, NeurIPS 2019 (arXiv:1910.07467 ↗).
  • Pre-Norm vs Post-Norm 梯度理论:Xiong et al., On Layer Normalization in the Transformer Architecture, ICML 2020 (arXiv:2002.04745 ↗).
  • QK-Norm 规模化验证:Dehghani et al., Scaling Vision Transformers to 22 Billion Parameters, ICML 2023 (arXiv:2302.05442 ↗); Wortsman et al., Small-scale proxies for large-scale Transformer training instabilities, ICLR 2024 (arXiv:2309.14322 ↗).
  • Sandwich-Norm 与现代稳训实践:Gemma Team, Gemma 2: Improving Open Language Models at a Practical Size, 2024 (arXiv:2408.00118 ↗); OLMo Team, 2 OLMo 2 Furious, 2024 (arXiv:2501.00656 ↗).