Skip to content

词嵌入层(Token Embedding)与语义几何

解析词嵌入查表与 one-hot 投影等价性、输入输出权重共享(Weight Tying)、√d 缩放及表征各向异性。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是词嵌入(Token Embedding)?

分词器把文字变成了像 15496 这样的整数编号,但数字编号本身没有语义——编号 100 和 101 并不代表意思相近。词嵌入(Token Embedding) 就是一张庞大的“语义坐标查表矩阵”,把每个离散的 Token ID 映射成一条几千维的连续浮点数向量。

经过海量文本训练后,语义相近的词(如“国王”与“王后”、“猫”与“狗”)在这张高维语义地图里的位置会自然聚拢;大模型每一层的计算,正是从这条向量出发开始流动的。

01 门牌号没有语义:如何把整数 ID 变成“词义地图”? ​

经过 分词器 处理后,一句“猫追老鼠”变成了 [1842, 9527, 4301] 这样的整数 ID。可神经网络没法直接拿门牌号做微积分——4301 号并不比 1842 号“大两倍”,4301 号和 4302 号在意思上也八竿子打不着。

最早的笨办法是 one-hot 编码:词表有 10 万个词,就造一个 10 万维的向量,只有对应位置填 1,其余全填 0。结果每个词都像一座彼此垂直的孤岛,“猫”和“狗”的内积是 0,“猫”和“微积分”的内积也是 0,模型天生看不出谁和谁更亲近。

从 Bengio et al. (2003) ↗ 到 Word2Vec (Mikolov et al., 2013) ↗,神经语言模型彻底确立了 词嵌入(Token Embedding) 范式:把每个词元 ID 映射成一条几千维的稠密连续向量 Rd。它既是模型底层的“入口翻译官”,也是模型顶层把隐状态还原成词表概率的“出口翻译官(LM Head)”。

类比 · 高维空间里的词汇经纬度地图

把词嵌入矩阵 E∈RV×d 想象成一本城市地图册:每一行记录一个词的高维经纬度坐标。刚初始化时所有词撒得乱七八糟;但经过万亿词元预训练后,意思和用法相近的词会自动聚到同一片街区——动物挨着动物,动词挨着动词。底层的 Embedding 是“报门牌号查坐标”,顶层的 LM Head 则是“拿着算出的最终坐标,看看离地图上哪个词最近”。

核心设问

表面上 nn.Embedding 不过是一行数组下标取值,为什么围绕它的三个细节——头尾权重共享(Weight Tying)、d 神秘缩放,以及高维空间离奇的 “窄锥退化(各向异性)”——却深刻左右着从 0.5B 端侧小模型到 70B 旗舰的成败?

02 三个直觉画面:共用钥匙、音量平衡与“挤进窄甜筒” ​

画面一:Weight Tying——进门认词和出门猜词共用一本字典 ​

既然底层的输入嵌入 E∈RV×d 和顶层的输出投影 U∈RV×d 形状一模一样,Press & Wolf (2017) ↗ 提出了一个绝妙主意:干脆让它俩直接共享同一块内存(U=E)!

这就像一家书店让“入库编目”和“出库检索”共用同一套索引卡:

  • 对小模型(0.5B–3B)是大救星:在 152K 大词表下直接砍掉一半词表参数(立省数亿参数!),而且因为顶层 Softmax 每一步都会给全词表所有词回传梯度,低频词哪怕没在输入端出场,也能在输出端蹭到更新。
  • 对大模型(8B–70B+)则更偏向解绑(Untied):词表参数占比已微不足道,让输入矩阵专心负责“静态词义编码”、输出矩阵专心负责“上下文概率判别”,分工解耦后验证损失往往更低。

画面二:为什么要莫名其妙乘一个 d? ​

翻看原始 Transformer (2017) ↗ 或 Gemma 的源码,你会发现查完词向量后居然乘了一个 d。这不是玄学,而是在救词义的命:

类比 · 蚊子哼哼 vs 广播大喇叭

如果嵌入矩阵按 N(0,1/d) 初始化,词向量每个维度的幅值只有大约 1/d(当 d=4096 时仅有 0.015,轻得像蚊子哼哼);而原始 Transformer 直接往上叠加的 正弦绝对位置编码,每个维度都在 [−1,1] 之间跳动(像广场大喇叭)。如果不把词向量乘以 d 拉齐音量,词语义信号一进门就会被位置编码彻底淹没!到了现代 LLaMA 系列改用固定小方差初始化 + RoPE 旋转位置编码(不往词向量上硬加),才终于省掉了这一步。

画面三:表征退化——为什么词向量全挤进了一个窄甜筒? ​

直觉上,高维空间那么宽敞,10 万个词向量应该像满天繁星一样均匀散落在超球面上(各向同性),任意挑两个不相关的词,余弦相似度该接近 0。可 Gao et al. (2019) ↗ 与 Ethayarajh (2019) ↗ 实测后大跌眼镜:预训练语言模型的词向量竟然全都挤在一个狭窄的圆锥(Narrow Cone) 里,随便抽两个毫无关系的词,余弦相似度都高得吓人!

类比 · 齐夫定律下的“负样本驱赶”

原因出在词频极度不均与 Softmax 梯度推力上:词表里 90% 的词都是罕见长尾词,它们很少有机会作为“正确答案”被拉向高频上下文向量,却在几乎每一个训练步里都作为“错误选项”被往反方向猛推一把。成千上万步推下来,这群生僻词全被赶到了高维球面的同一片背阴角落里扎堆,形成高度正相关的窄锥——这就是著名的 各向异性(Anisotropy)。

03 把关键公式读成人话 ​

先看查表与 矩阵乘法 的等价性以及 反向传播 的稀疏梯度:

h0=eiE=Ei,:,∂L∂Ei,:=∑t:xt=i∂L∂h0(t)

**把前向查表与反向累加读成直觉:**数学上用 one-hot 向量 ei 去乘权重矩阵 E,结果就是把第 i 行原封不动抄出来——工程上直接按索引读内存(O(d)),省掉几十万次和 0 相乘的废操作。反向传播时也一样挑食:这一批数据里出现过的词,把对应位置的梯度攒在一起更新那一行;没出现过的十几万行,原始梯度严格为 0。

再看模型最顶端把隐状态变回词表概率的 LM Head 公式:

P(y=i∣hL)=exp⁡(Ui,:⋅hL)∑j=1Vexp⁡(Uj,:⋅hL)

**把输出投影读成直觉:**经过几十层 Transformer 思考后得到的最终向量 hL,会拿去和词表里每一个词的出口坐标 Uj,: 做点积(看谁最顺眼、方向最一致),再通过 Softmax 归一化成概率分布交给 交叉熵损失 打分。如果启用 Weight Tying,这里的 U 就是底层的 E。

04 它在模型里怎么工作 & 与上下游的关系 ​

词嵌入层稳稳守住大模型的“一头一尾”,和几乎所有系统模块都有交集:

  • 入口与位置注入:上游紧接 分词器 吐出的 ID 序列;查表后要么叠加 绝对位置编码,要么直接进入带 RMSNorm 与 RoPE 的 Transformer 主干。
  • 优化器与微调的精细配合:在 AdamW 优化器 中,未出场的低频词梯度虽然是 0,但解耦 Weight Decay 每步都在往原点拉拽,因此实践中常对 Embedding 调小或关闭权重衰减;在 SFT 微调 新增对话特殊词元时,也必须小心扩容初始化。
  • 分布式大集群切分:词表飙到 150K~256K 后,单卡装不下完整嵌入层和 LM Head,需要靠 张量并行(VocabParallelEmbedding) 沿词表维切片;如果同时用了 流水线并行(PP) 和 Weight Tying,还必须在第 0 张卡和最后一张卡之间专门加一次首尾梯度同步。

05 设计选型速查与三个避坑备忘 ​

设计选择头尾参数量代表模型核心权衡
Weight Tying(共享)V⋅dGPT-2、Gemma 2、Qwen2.5 (≤3B)、LLaMA 3.2 (1B/3B)大幅省参数、改善低频词梯度;输入输出语义空间耦合
Untied(独立解绑)2V⋅dLLaMA 2/3 (7B+)、Qwen2.5 (7B+)、DeepSeek-V3读写分工更自由、收敛损失略优;对小模型显存负担重
d 缩放同上原始 Transformer、Gemma 系列防止词义被加性位置编码或小初始化淹没
无缩放 + RoPE同上LLaMA 2/3、Mistral、Qwen2.5结构简洁,配合 RMSNorm 与小方差初始化直接稳定
  1. 把词表行数补齐到 64 / 128 的倍数(Padding Vocab):哪怕真实词表是 50,257,也把 nn.Embedding 申请成 50,304 行——多出来的几十个空槽微不足道,却能让 Tensor Core 和 8 卡张量并行完美对齐硬件 Tile,白捡一截吞吐加速。
  2. SFT 新增特殊词元要用“均值初始化”(Mean Resizing):新增 `<|user|>`、`<|assistant|>` 调用 resize_token_embeddings 时,别放任随机初始化让新词范数鹤立鸡群,用现有词嵌入均值加微小噪声初始化才能避免训练初期 Loss 剧烈抖动。
  3. 别拿原始 LLM Embedding 直接算余弦相似度做检索:受窄锥各向异性影响,直接算原版隐藏向量余弦相似度往往连 BM25 都不如;做 RAG 语义检索 必须经过对比学习微调(如 BGE、E5)或至少做中心化/白化矫正。

需要查阅完整架构流图、各向异性测量算法以及验证“查表 = one-hot 矩阵乘”与 Weight Tying 共享参数的完整 PyTorch 代码?按快捷键 M 或点击顶部 技术 Wiki 即可随时切换。

词嵌入层(Token Embedding)是连接离散人类符号与连续神经网络隐空间的桥梁:在模型底端,它将 分词器(Tokenizer) 输出的整数索引经由等价于稀疏 矩阵乘法 的查表操作映射为高维稠密实向量;在模型顶端,语言建模输出头(LM Head / Unembedding)则将 Transformer 最终隐藏状态投影回词表维度,经由 Softmax 配合 交叉熵损失 生成下一个词元的概率分布。表面上看,Embedding 只是一张简单的数组查表,但围绕它的权重共享(Weight Tying)、d 缩放、低频词 反向传播 梯度稀疏性以及高维语义空间的各向异性(Anisotropy),深刻影响着大语言模型的参数效率、训练稳定性与表征质量。

直观理解

可以把词嵌入矩阵想象成一座高维语义坐标系里的“词汇地图”:每个词元 ID 不再是毫无大小关系的冰冷门牌号,而是地图上的一个经纬度坐标点。经过万亿词元预训练后,语义相近、语法功能相似的词元会自动聚拢在地图的同一片街区,而从词 ID 查坐标(Embedding)与根据坐标猜是哪个词(LM Head)恰好是一对互逆操作。

问题动机与演进背景 ​

在神经语言模型诞生之前,文本通常使用高维稀疏的 one-hot 编码表示:对于词表大小为 V 的词汇,每个词是长度为 V、仅有一位为 1 的正交向量。这种表示存在两个致命缺陷:

  1. 维度灾难:词表 V 动辄十万级,直接输入神经网络会导致首层参数与计算量爆炸;
  2. 语义孤立(正交性):任意两个不同词的 one-hot 向量内积恒为 0,模型无法从几何距离上区分“猫”与“狗”比“猫”与“微积分”更接近。

Bengio 等人(2003)提出的神经概率语言模型与 Word2Vec(2013)确立了分布式低维稠密表示(Distributed Representation) 范式:将每个词元映射至维度 d≪V(如 d=4096)的连续向量空间 Rd。进入 Transformer 时代后,词嵌入层成为端到端预训练网络的一等公民,并在输入与输出两端衍生出权重共享与尺度匹配等经典架构设计。

核心原理与数学推导 ​

1. 查表操作与 One-Hot 线性投影的严格等价性 ​

设词表大小为 V,模型隐藏维度为 d,嵌入权重矩阵为 E∈RV×d。对输入词元索引 i∈{0,1,…,V−1},记其 one-hot 行向量为 ei∈{0,1}1×V。则线性投影结果严格等于取出矩阵 E 的第 i 行:

h0=eiE=Ei,:∈R1×d
  • 前向复杂度:若做稠密矩阵乘法需要 2Vd FLOPs;采用索引查表(nn.Embedding / gather)直接将复杂度降为 O(d) 内存读取,完全免去与零元素的无效乘法。
  • 反向梯度稀疏性:设下游回传至第 t 步词向量 h0(t) 的梯度为 gt=∂L∂h0(t)∈Rd,则嵌入矩阵第 i 行的梯度为批内所有命中词元 i 的位置梯度累加(scatter_add):∂L∂Ei,:=∑t:xt=igt对于本批次未出现的绝大多数词元,其原始梯度严格为 0。

2. 输入-输出权重共享(Weight Tying) ​

在 Transformer 顶层,最终隐藏状态 hL∈Rd 需通过输出投影矩阵(LM Head / Unembedding)U∈RV×d 计算词表 logits 并经 Softmax 转为概率:

P(y=i∣hL)=exp⁡(Ui,:⋅hL)∑j=1Vexp⁡(Uj,:⋅hL)

Press & Wolf(2017)提出 Weight Tying,令输出矩阵直接共享输入嵌入矩阵的权重:

U=E
  • 核心收益:立即省去一份 V×d 参数。对于中小模型(例如 d=2048,V=152k 的 1.5B 模型),可节省超过 3.1 亿 参数(占总参数量约 20%);同时输出 Softmax 对全词表所有行都会回传非零梯度(哪怕某词元未作为目标出现,也会受到负样本推离梯度),缓解了输入端低频词更新稀疏的问题。
  • 现代大模型的分歧:当模型参数量迈入 7B∼70B+ 时,词表参数占比已微乎其微(不足 3%∼6%)。实证研究表明,输入词元表示(侧重静态词义编码)与输出预测头(侧重上下文条件概率判别)的几何职责并不完全相同,解绑权重(Untied Embeddings,如 PaLM、LLaMA 2/3 8B+、DeepSeek-V3)往往带来更优的验证损失与微调灵活性;而端侧小模型(如 Gemma 2B/9B、Qwen2.5 0.5B/1.5B/3B、LLaMA 3.2 1B/3B)则普遍保留 Weight Tying 以压缩显存与体积。

3. d 嵌入缩放(Embedding Scaling) ​

在原始 Transformer 论文(Vaswani et al., 2017)以及 Gemma 系列模型中,查表得到的词向量会乘以常数 d:

h0=d⋅Ext,:

其背后的尺度平衡动机非常清晰:

  • 若嵌入矩阵按 Xavier 或 N(0,1/d) 初始化,每个元素的标准差为 1/d,导致词向量总 L2 范数 ∥Ei,:∥2≈1,而单维幅值仅约 1/d;
  • 与此同时,正弦绝对位置编码 PE(t,2k)=sin⁡(⋅) 每个元素幅值在 [−1,1] 量级(总 L2 范数约 d/2)。如果不乘以 d,在执行 h0+PE 时,词语义信号会被巨大的位置编码彻底淹没!
  • 当采用 N(0,0.022) 固定小方差初始化并配合 RoPE 旋转位置编码(不加在词向量上,而是作用于 Q/K)时,如 LLaMA 系列便无需 d 缩放;但 Gemma 依然保留 d 缩放配合小初始化,与 Weight Tying 及 RMSNorm 协同控制输出 logits 尺度。

4. 语义几何与表征退化(各向异性 / Anisotropy) ​

理想情况下,高维词向量应当均匀分布在超球面上(各向同性,Isotropy),任意两个随机词的余弦相似度期望接近 0。然而 Gao 等人(2019)与 Ethayarajh(2019)发现,经过标准交叉熵训练的神经网络语言模型,其词嵌入与隐藏表征往往坍缩到高维空间中的一个狭小圆锥(Narrow Cone) 内——几乎所有词向量之间都呈现高度正相关的余弦相似度,这一现象称为表征退化(Representation Degeneration) 或各向异性(Anisotropy)。

其核心数学根源在于词频不均衡(齐夫定律)与 Softmax 梯度推力:

  • 绝大多数长尾低频词在训练中极少作为正样本出现,却在每一步都作为负样本被输出头梯度往隐藏状态 hL 的反方向推离;
  • 最终所有低频词被迫挤向某个远离高频上下文均值的公共方向,形成窄锥,且词向量范数与词频呈显著相关性。

通过中心化(减去均值向量)、白化(Whitening)或对比学习微调(如 SimCSE),可有效恢复语义空间的各向同性,显著提升句向量检索质量。

算法架构 / 数据流图 ​

图表加载中...

复杂度与横向对比表 ​

设计选择参数量代表模型优势劣势 / 适用边界
Weight Tying(共享权重)V⋅dGPT-2、Gemma 2、Qwen2.5 0.5B–3B、LLaMA 3.2 1B/3B大幅节省小模型参数与显存;改善低频词梯度输入与输出表征空间耦合,超大模型容量略受限
Untied(独立输入输出)2V⋅dLLaMA 2/3 (7B+)、Qwen2.5 (7B+)、DeepSeek-V3输入编码与输出判别解耦,收敛损失略优词表极大时对中小模型参数负担重
d 缩放 + 小初始化同上原始 Transformer、Gemma 系列防止词义信号被加性位置编码淹没;稳定激活方差必须与初始化方差、LayerNorm 位置配套设计
无缩放 + RoPE同上LLaMA 2/3、Mistral、Qwen2.5结构简洁,无需担心共享权重时的尺度耦合依赖合理初始化与 RMSNorm 稳定首层输入

核心 PyTorch 参考实现 ​

python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F


class TiedTokenEmbeddingLM(nn.Module):
    """演示 Token Embedding 查表、sqrt(d) 缩放与 Weight Tying 的最小语言模型头尾模块。"""

    def __init__(
        self,
        vocab_size: int,
        d_model: int,
        tie_weights: bool = True,
        scale_embeddings: bool = True,
    ) -> None:
        super().__init__()
        self.d_model = d_model
        self.scale = math.sqrt(d_model) if scale_embeddings else 1.0

        self.embed = nn.Embedding(vocab_size, d_model)
        self.final_norm = nn.RMSNorm(d_model)
        self.lm_head = nn.Linear(d_model, vocab_size, bias=False)

        # 初始化权重
        nn.init.normal_(self.embed.weight, mean=0.0, std=0.02)
        if tie_weights:
            # 严格共享底层 Parameter 张量引用,优化器仅维护一份状态
            self.lm_head.weight = self.embed.weight
        else:
            nn.init.normal_(self.lm_head.weight, mean=0.0, std=0.02)

    def forward_embed(self, input_ids: torch.Tensor) -> torch.Tensor:
        # input_ids: [B, T] -> hidden: [B, T, d_model]
        return self.embed(input_ids) * self.scale

    def forward_head(self, hidden: torch.Tensor) -> torch.Tensor:
        # hidden: [B, T, d_model] -> logits: [B, T, V]
        return self.lm_head(self.final_norm(hidden))


def measure_anisotropy(embeddings: torch.Tensor, num_pairs: int = 2000) -> float:
    """随机采样词对计算平均余弦相似度,衡量嵌入空间的各向异性程度(越接近 0 越各向同性)。"""
    v = embeddings.size(0)
    idx_a = torch.randint(0, v, (num_pairs,))
    idx_b = torch.randint(0, v, (num_pairs,))
    # 排除相同索引
    mask = idx_a != idx_b
    ea = F.normalize(embeddings[idx_a[mask]], dim=-1)
    eb = F.normalize(embeddings[idx_b[mask]], dim=-1)
    return (ea * eb).sum(dim=-1).mean().item()


if __name__ == "__main__":
    torch.manual_seed(42)
    V, D = 1000, 128

    # 1. 验证查表与 one-hot 矩阵乘法完全等价
    model = TiedTokenEmbeddingLM(vocab_size=V, d_model=D, tie_weights=True, scale_embeddings=False)
    ids = torch.tensor([[3, 17, 42]])                                   # [1, 3]
    via_lookup = model.forward_embed(ids)                               # [1, 3, D]
    via_onehot = F.one_hot(ids, num_classes=V).float() @ model.embed.weight
    assert torch.allclose(via_lookup, via_onehot, atol=1e-6)
    print("查表与 one-hot 矩阵乘法数值完全等价!共享参数唯一计数:", sum(p.numel() for p in set(model.parameters())))

    # 2. 对比各向同性高斯分布与模拟窄锥退化分布的各向异性指标
    iso_emb = torch.randn(V, D)
    cone_emb = torch.randn(V, D) * 0.2 + torch.ones(1, D)
    print(f"各向同性空间平均余弦相似度: {measure_anisotropy(iso_emb):.4f}")
    print(f"窄锥退化空间平均余弦相似度: {measure_anisotropy(cone_emb):.4f}")

工程实践与常见陷阱 ​

工程实践

  1. 词表维度对齐 64/128 的倍数(Padding Vocab):即使分词器实际只有 50,257 或 128,256 个词元,工程上常将 vocab_size 向上补齐到 64 或 128 的倍数(如 50,304),使 LM Head 的大矩阵乘法与 张量并行(TP) 切分(如 8 卡切分)完全对齐硬件 Tensor Core Tile,带来可观的免费加速。
  2. 慎对 Embedding 施加常规 Weight Decay:对于批内未出现的低频词,其梯度为 0,但解耦权重衰减(AdamW 优化器)仍会在每一步把所有词向量往原点衰减。对低频词而言,持续权重衰减可能导致向量塌缩;实践中常对 Embedding 关闭权重衰减或调小衰减系数,或在分布式训练中监控词向量范数分布。
  3. 分布式流水线并行下的 Weight Tying 同步:在 流水线并行(Pipeline Parallelism) 中,Embedding 位于第 0 阶段,LM Head 位于最后阶段;若启用 Weight Tying,必须在每次反向传播结束后于首尾两张卡之间额外执行一次梯度 All-Reduce 同步,否则两份权重会发生分叉。

常见陷阱

  1. 扩充特殊词元后忘记调整 Embedding 矩阵或错误初始化:在 SFT 阶段新增对话控制词元(如 <|user|>、<|assistant|>)并调用 resize_token_embeddings 时,若随机初始化新行且未做充分训练,新词向量范数可能与预训练词向量分布格格不入,导致损失剧烈震荡。更稳妥的做法是用现有词向量均值加微小扰动(Mean Resizing)初始化新增行。
  2. 忽视 padding_idx 的梯度屏蔽:若序列使用了右侧或左侧填充词元 <pad>,虽然交叉熵可通过 ignore_index 忽略其输出损失,但输入端若未在注意力掩码中将其彻底屏蔽,或未设置 padding_idx 固定为零向量,填充词元仍会通过残差与归一化污染有效位置表征。
  3. 用原始词嵌入余弦相似度直接评估语义:受各向异性与词频范数偏差影响,直接取预训练 LLM 的最后一层隐状态或原始 Embedding 做余弦相似度检索往往效果极差(甚至不如 BM25);必须经过对比学习微调(如 BGE、E5)或至少做均值中心化处理。

延伸阅读与参考论文 ​

  • Bengio, Y., et al. (2003). A Neural Probabilistic Language Model. JMLR. JMLR ↗
  • Mikolov, T., et al. (2013). Efficient Estimation of Word Representations in Vector Space (Word2Vec). arXiv:1301.3781 ↗
  • Press, O., & Wolf, L. (2017). Using the Output Embedding to Improve Language Models. EACL 2017(提出 Weight Tying). arXiv:1608.05859 ↗
  • Gao, J., et al. (2019). Representation Degeneration Problem in Training Natural Language Generation Models. ICLR 2019(揭示词嵌入各向异性窄锥现象). arXiv:1907.12009 ↗
  • Ethayarajh, K. (2019). How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. EMNLP 2019. arXiv:1909.00512 ↗