外观
概念定义 · 什么是词嵌入(Token Embedding)?
分词器把文字变成了像 15496 这样的整数编号,但数字编号本身没有语义——编号 100 和 101 并不代表意思相近。词嵌入(Token Embedding) 就是一张庞大的“语义坐标查表矩阵”,把每个离散的 Token ID 映射成一条几千维的连续浮点数向量。
经过海量文本训练后,语义相近的词(如“国王”与“王后”、“猫”与“狗”)在这张高维语义地图里的位置会自然聚拢;大模型每一层的计算,正是从这条向量出发开始流动的。
01 门牌号没有语义:如何把整数 ID 变成“词义地图”?
经过 分词器 处理后,一句“猫追老鼠”变成了 [1842, 9527, 4301] 这样的整数 ID。可神经网络没法直接拿门牌号做微积分——4301 号并不比 1842 号“大两倍”,4301 号和 4302 号在意思上也八竿子打不着。
最早的笨办法是 one-hot 编码:词表有 10 万个词,就造一个 10 万维的向量,只有对应位置填 1,其余全填 0。结果每个词都像一座彼此垂直的孤岛,“猫”和“狗”的内积是 0,“猫”和“微积分”的内积也是 0,模型天生看不出谁和谁更亲近。
从 Bengio et al. (2003) ↗ 到 Word2Vec (Mikolov et al., 2013) ↗,神经语言模型彻底确立了 词嵌入(Token Embedding) 范式:把每个词元 ID 映射成一条几千维的稠密连续向量
类比 · 高维空间里的词汇经纬度地图
把词嵌入矩阵
核心设问
表面上 nn.Embedding 不过是一行数组下标取值,为什么围绕它的三个细节——头尾权重共享(Weight Tying)、
02 三个直觉画面:共用钥匙、音量平衡与“挤进窄甜筒”
画面一:Weight Tying——进门认词和出门猜词共用一本字典
既然底层的输入嵌入
这就像一家书店让“入库编目”和“出库检索”共用同一套索引卡:
- 对小模型(0.5B–3B)是大救星:在 152K 大词表下直接砍掉一半词表参数(立省数亿参数!),而且因为顶层 Softmax 每一步都会给全词表所有词回传梯度,低频词哪怕没在输入端出场,也能在输出端蹭到更新。
- 对大模型(8B–70B+)则更偏向解绑(Untied):词表参数占比已微不足道,让输入矩阵专心负责“静态词义编码”、输出矩阵专心负责“上下文概率判别”,分工解耦后验证损失往往更低。
画面二:为什么要莫名其妙乘一个 ?
翻看原始 Transformer (2017) ↗ 或 Gemma 的源码,你会发现查完词向量后居然乘了一个
类比 · 蚊子哼哼 vs 广播大喇叭
如果嵌入矩阵按 0.015,轻得像蚊子哼哼);而原始 Transformer 直接往上叠加的 正弦绝对位置编码,每个维度都在
画面三:表征退化——为什么词向量全挤进了一个窄甜筒?
直觉上,高维空间那么宽敞,10 万个词向量应该像满天繁星一样均匀散落在超球面上(各向同性),任意挑两个不相关的词,余弦相似度该接近 0。可 Gao et al. (2019) ↗ 与 Ethayarajh (2019) ↗ 实测后大跌眼镜:预训练语言模型的词向量竟然全都挤在一个狭窄的圆锥(Narrow Cone) 里,随便抽两个毫无关系的词,余弦相似度都高得吓人!
类比 · 齐夫定律下的“负样本驱赶”
原因出在词频极度不均与 Softmax 梯度推力上:词表里 90% 的词都是罕见长尾词,它们很少有机会作为“正确答案”被拉向高频上下文向量,却在几乎每一个训练步里都作为“错误选项”被往反方向猛推一把。成千上万步推下来,这群生僻词全被赶到了高维球面的同一片背阴角落里扎堆,形成高度正相关的窄锥——这就是著名的 各向异性(Anisotropy)。
03 把关键公式读成人话
**把前向查表与反向累加读成直觉:**数学上用 one-hot 向量 0。
再看模型最顶端把隐状态变回词表概率的 LM Head 公式:
**把输出投影读成直觉:**经过几十层 Transformer 思考后得到的最终向量
04 它在模型里怎么工作 & 与上下游的关系
词嵌入层稳稳守住大模型的“一头一尾”,和几乎所有系统模块都有交集:
- 入口与位置注入:上游紧接 分词器 吐出的 ID 序列;查表后要么叠加 绝对位置编码,要么直接进入带 RMSNorm 与 RoPE 的 Transformer 主干。
- 优化器与微调的精细配合:在 AdamW 优化器 中,未出场的低频词梯度虽然是 0,但解耦 Weight Decay 每步都在往原点拉拽,因此实践中常对 Embedding 调小或关闭权重衰减;在 SFT 微调 新增对话特殊词元时,也必须小心扩容初始化。
- 分布式大集群切分:词表飙到 150K~256K 后,单卡装不下完整嵌入层和 LM Head,需要靠 张量并行(VocabParallelEmbedding) 沿词表维切片;如果同时用了 流水线并行(PP) 和 Weight Tying,还必须在第 0 张卡和最后一张卡之间专门加一次首尾梯度同步。
05 设计选型速查与三个避坑备忘
| 设计选择 | 头尾参数量 | 代表模型 | 核心权衡 |
|---|---|---|---|
| Weight Tying(共享) | GPT-2、Gemma 2、Qwen2.5 (≤3B)、LLaMA 3.2 (1B/3B) | 大幅省参数、改善低频词梯度;输入输出语义空间耦合 | |
| Untied(独立解绑) | LLaMA 2/3 (7B+)、Qwen2.5 (7B+)、DeepSeek-V3 | 读写分工更自由、收敛损失略优;对小模型显存负担重 | |
| 同上 | 原始 Transformer、Gemma 系列 | 防止词义被加性位置编码或小初始化淹没 | |
| 无缩放 + RoPE | 同上 | LLaMA 2/3、Mistral、Qwen2.5 | 结构简洁,配合 RMSNorm 与小方差初始化直接稳定 |
- 把词表行数补齐到 64 / 128 的倍数(Padding Vocab):哪怕真实词表是 50,257,也把
nn.Embedding申请成 50,304 行——多出来的几十个空槽微不足道,却能让 Tensor Core 和 8 卡张量并行完美对齐硬件 Tile,白捡一截吞吐加速。 - SFT 新增特殊词元要用“均值初始化”(Mean Resizing):新增
`<|user|>`、`<|assistant|>`调用resize_token_embeddings时,别放任随机初始化让新词范数鹤立鸡群,用现有词嵌入均值加微小噪声初始化才能避免训练初期 Loss 剧烈抖动。 - 别拿原始 LLM Embedding 直接算余弦相似度做检索:受窄锥各向异性影响,直接算原版隐藏向量余弦相似度往往连 BM25 都不如;做 RAG 语义检索 必须经过对比学习微调(如 BGE、E5)或至少做中心化/白化矫正。
需要查阅完整架构流图、各向异性测量算法以及验证“查表 = one-hot 矩阵乘”与 Weight Tying 共享参数的完整 PyTorch 代码?按快捷键
M或点击顶部技术 Wiki即可随时切换。
词嵌入层(Token Embedding)是连接离散人类符号与连续神经网络隐空间的桥梁:在模型底端,它将 分词器(Tokenizer) 输出的整数索引经由等价于稀疏 矩阵乘法 的查表操作映射为高维稠密实向量;在模型顶端,语言建模输出头(LM Head / Unembedding)则将 Transformer 最终隐藏状态投影回词表维度,经由 Softmax 配合 交叉熵损失 生成下一个词元的概率分布。表面上看,Embedding 只是一张简单的数组查表,但围绕它的权重共享(Weight Tying)、
直观理解
可以把词嵌入矩阵想象成一座高维语义坐标系里的“词汇地图”:每个词元 ID 不再是毫无大小关系的冰冷门牌号,而是地图上的一个经纬度坐标点。经过万亿词元预训练后,语义相近、语法功能相似的词元会自动聚拢在地图的同一片街区,而从词 ID 查坐标(Embedding)与根据坐标猜是哪个词(LM Head)恰好是一对互逆操作。
问题动机与演进背景
在神经语言模型诞生之前,文本通常使用高维稀疏的 one-hot 编码表示:对于词表大小为
- 维度灾难:词表
动辄十万级,直接输入神经网络会导致首层参数与计算量爆炸; - 语义孤立(正交性):任意两个不同词的 one-hot 向量内积恒为
,模型无法从几何距离上区分“猫”与“狗”比“猫”与“微积分”更接近。
Bengio 等人(2003)提出的神经概率语言模型与 Word2Vec(2013)确立了分布式低维稠密表示(Distributed Representation) 范式:将每个词元映射至维度
核心原理与数学推导
1. 查表操作与 One-Hot 线性投影的严格等价性
设词表大小为
- 前向复杂度:若做稠密矩阵乘法需要
FLOPs;采用索引查表(nn.Embedding/gather)直接将复杂度降为 内存读取,完全免去与零元素的无效乘法。 - 反向梯度稀疏性:设下游回传至第
步词向量 的梯度为 ,则嵌入矩阵第 行的梯度为批内所有命中词元 的位置梯度累加(scatter_add): 对于本批次未出现的绝大多数词元,其原始梯度严格为 。
2. 输入-输出权重共享(Weight Tying)
在 Transformer 顶层,最终隐藏状态
Press & Wolf(2017)提出 Weight Tying,令输出矩阵直接共享输入嵌入矩阵的权重:
- 核心收益:立即省去一份
参数。对于中小模型(例如 的 1.5B 模型),可节省超过 参数(占总参数量约 );同时输出 Softmax 对全词表所有行都会回传非零梯度(哪怕某词元未作为目标出现,也会受到负样本推离梯度),缓解了输入端低频词更新稀疏的问题。 - 现代大模型的分歧:当模型参数量迈入
时,词表参数占比已微乎其微(不足 )。实证研究表明,输入词元表示(侧重静态词义编码)与输出预测头(侧重上下文条件概率判别)的几何职责并不完全相同,解绑权重(Untied Embeddings,如 PaLM、LLaMA 2/3 8B+、DeepSeek-V3)往往带来更优的验证损失与微调灵活性;而端侧小模型(如 Gemma 2B/9B、Qwen2.5 0.5B/1.5B/3B、LLaMA 3.2 1B/3B)则普遍保留 Weight Tying 以压缩显存与体积。
3. 嵌入缩放(Embedding Scaling)
在原始 Transformer 论文(Vaswani et al., 2017)以及 Gemma 系列模型中,查表得到的词向量会乘以常数
其背后的尺度平衡动机非常清晰:
- 若嵌入矩阵按 Xavier 或
初始化,每个元素的标准差为 ,导致词向量总 L2 范数 ,而单维幅值仅约 ; - 与此同时,正弦绝对位置编码
每个元素幅值在 量级(总 L2 范数约 )。如果不乘以 ,在执行 时,词语义信号会被巨大的位置编码彻底淹没! - 当采用
固定小方差初始化并配合 RoPE 旋转位置编码(不加在词向量上,而是作用于 Q/K)时,如 LLaMA 系列便无需 缩放;但 Gemma 依然保留 缩放配合小初始化,与 Weight Tying 及 RMSNorm 协同控制输出 logits 尺度。
4. 语义几何与表征退化(各向异性 / Anisotropy)
理想情况下,高维词向量应当均匀分布在超球面上(各向同性,Isotropy),任意两个随机词的余弦相似度期望接近
其核心数学根源在于词频不均衡(齐夫定律)与 Softmax 梯度推力:
- 绝大多数长尾低频词在训练中极少作为正样本出现,却在每一步都作为负样本被输出头梯度往隐藏状态
的反方向推离; - 最终所有低频词被迫挤向某个远离高频上下文均值的公共方向,形成窄锥,且词向量范数与词频呈显著相关性。
通过中心化(减去均值向量)、白化(Whitening)或对比学习微调(如 SimCSE),可有效恢复语义空间的各向同性,显著提升句向量检索质量。
算法架构 / 数据流图
图表加载中...
复杂度与横向对比表
| 设计选择 | 参数量 | 代表模型 | 优势 | 劣势 / 适用边界 |
|---|---|---|---|---|
| Weight Tying(共享权重) | GPT-2、Gemma 2、Qwen2.5 0.5B–3B、LLaMA 3.2 1B/3B | 大幅节省小模型参数与显存;改善低频词梯度 | 输入与输出表征空间耦合,超大模型容量略受限 | |
| Untied(独立输入输出) | LLaMA 2/3 (7B+)、Qwen2.5 (7B+)、DeepSeek-V3 | 输入编码与输出判别解耦,收敛损失略优 | 词表极大时对中小模型参数负担重 | |
| 同上 | 原始 Transformer、Gemma 系列 | 防止词义信号被加性位置编码淹没;稳定激活方差 | 必须与初始化方差、LayerNorm 位置配套设计 | |
| 无缩放 + RoPE | 同上 | LLaMA 2/3、Mistral、Qwen2.5 | 结构简洁,无需担心共享权重时的尺度耦合 | 依赖合理初始化与 RMSNorm 稳定首层输入 |
核心 PyTorch 参考实现
python
import math
import torch
import torch.nn as nn
import torch.nn.functional as F
class TiedTokenEmbeddingLM(nn.Module):
"""演示 Token Embedding 查表、sqrt(d) 缩放与 Weight Tying 的最小语言模型头尾模块。"""
def __init__(
self,
vocab_size: int,
d_model: int,
tie_weights: bool = True,
scale_embeddings: bool = True,
) -> None:
super().__init__()
self.d_model = d_model
self.scale = math.sqrt(d_model) if scale_embeddings else 1.0
self.embed = nn.Embedding(vocab_size, d_model)
self.final_norm = nn.RMSNorm(d_model)
self.lm_head = nn.Linear(d_model, vocab_size, bias=False)
# 初始化权重
nn.init.normal_(self.embed.weight, mean=0.0, std=0.02)
if tie_weights:
# 严格共享底层 Parameter 张量引用,优化器仅维护一份状态
self.lm_head.weight = self.embed.weight
else:
nn.init.normal_(self.lm_head.weight, mean=0.0, std=0.02)
def forward_embed(self, input_ids: torch.Tensor) -> torch.Tensor:
# input_ids: [B, T] -> hidden: [B, T, d_model]
return self.embed(input_ids) * self.scale
def forward_head(self, hidden: torch.Tensor) -> torch.Tensor:
# hidden: [B, T, d_model] -> logits: [B, T, V]
return self.lm_head(self.final_norm(hidden))
def measure_anisotropy(embeddings: torch.Tensor, num_pairs: int = 2000) -> float:
"""随机采样词对计算平均余弦相似度,衡量嵌入空间的各向异性程度(越接近 0 越各向同性)。"""
v = embeddings.size(0)
idx_a = torch.randint(0, v, (num_pairs,))
idx_b = torch.randint(0, v, (num_pairs,))
# 排除相同索引
mask = idx_a != idx_b
ea = F.normalize(embeddings[idx_a[mask]], dim=-1)
eb = F.normalize(embeddings[idx_b[mask]], dim=-1)
return (ea * eb).sum(dim=-1).mean().item()
if __name__ == "__main__":
torch.manual_seed(42)
V, D = 1000, 128
# 1. 验证查表与 one-hot 矩阵乘法完全等价
model = TiedTokenEmbeddingLM(vocab_size=V, d_model=D, tie_weights=True, scale_embeddings=False)
ids = torch.tensor([[3, 17, 42]]) # [1, 3]
via_lookup = model.forward_embed(ids) # [1, 3, D]
via_onehot = F.one_hot(ids, num_classes=V).float() @ model.embed.weight
assert torch.allclose(via_lookup, via_onehot, atol=1e-6)
print("查表与 one-hot 矩阵乘法数值完全等价!共享参数唯一计数:", sum(p.numel() for p in set(model.parameters())))
# 2. 对比各向同性高斯分布与模拟窄锥退化分布的各向异性指标
iso_emb = torch.randn(V, D)
cone_emb = torch.randn(V, D) * 0.2 + torch.ones(1, D)
print(f"各向同性空间平均余弦相似度: {measure_anisotropy(iso_emb):.4f}")
print(f"窄锥退化空间平均余弦相似度: {measure_anisotropy(cone_emb):.4f}")工程实践与常见陷阱
工程实践
- 词表维度对齐 64/128 的倍数(Padding Vocab):即使分词器实际只有
或 个词元,工程上常将vocab_size向上补齐到 或 的倍数(如 ),使 LM Head 的大矩阵乘法与 张量并行(TP) 切分(如 卡切分)完全对齐硬件 Tensor Core Tile,带来可观的免费加速。 - 慎对 Embedding 施加常规 Weight Decay:对于批内未出现的低频词,其梯度为
,但解耦权重衰减(AdamW 优化器)仍会在每一步把所有词向量往原点衰减。对低频词而言,持续权重衰减可能导致向量塌缩;实践中常对 Embedding 关闭权重衰减或调小衰减系数,或在分布式训练中监控词向量范数分布。 - 分布式流水线并行下的 Weight Tying 同步:在 流水线并行(Pipeline Parallelism) 中,Embedding 位于第
阶段,LM Head 位于最后阶段;若启用 Weight Tying,必须在每次反向传播结束后于首尾两张卡之间额外执行一次梯度 All-Reduce 同步,否则两份权重会发生分叉。
常见陷阱
- 扩充特殊词元后忘记调整 Embedding 矩阵或错误初始化:在 SFT 阶段新增对话控制词元(如
<|user|>、<|assistant|>)并调用resize_token_embeddings时,若随机初始化新行且未做充分训练,新词向量范数可能与预训练词向量分布格格不入,导致损失剧烈震荡。更稳妥的做法是用现有词向量均值加微小扰动(Mean Resizing)初始化新增行。 - 忽视
padding_idx的梯度屏蔽:若序列使用了右侧或左侧填充词元<pad>,虽然交叉熵可通过ignore_index忽略其输出损失,但输入端若未在注意力掩码中将其彻底屏蔽,或未设置padding_idx固定为零向量,填充词元仍会通过残差与归一化污染有效位置表征。 - 用原始词嵌入余弦相似度直接评估语义:受各向异性与词频范数偏差影响,直接取预训练 LLM 的最后一层隐状态或原始 Embedding 做余弦相似度检索往往效果极差(甚至不如 BM25);必须经过对比学习微调(如 BGE、E5)或至少做均值中心化处理。
延伸阅读与参考论文
- Bengio, Y., et al. (2003). A Neural Probabilistic Language Model. JMLR. JMLR ↗
- Mikolov, T., et al. (2013). Efficient Estimation of Word Representations in Vector Space (Word2Vec). arXiv:1301.3781 ↗
- Press, O., & Wolf, L. (2017). Using the Output Embedding to Improve Language Models. EACL 2017(提出 Weight Tying). arXiv:1608.05859 ↗
- Gao, J., et al. (2019). Representation Degeneration Problem in Training Natural Language Generation Models. ICLR 2019(揭示词嵌入各向异性窄锥现象). arXiv:1907.12009 ↗
- Ethayarajh, K. (2019). How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. EMNLP 2019. arXiv:1909.00512 ↗