外观
概念定义 · 为什么要整车剖析 Qwen 2.5 / Qwen3 / QwQ?
通义千问(Qwen)系列 是全球多语言与开源全尺寸家族(从 0.5B 端侧小模型到百亿/千亿 MoE)工程打磨最具代表性的范本之一。
它在中英文及代码大词表设计(151K BPE)、用 QK-Norm 与 Gated Attention 稳住训练与消除 Attention Sink、以及 Qwen3 首创的单模型双模式切换(思考模式 Thinking / 快速响应 Non-Thinking 自由控预算) 上提供了极佳的架构与后训练实战参照。
01 问题从何而来:怎么让一套模型家族“老少通吃、快慢皆宜”?
在开源世界里,各家旗舰往往各有所长:有的专注打造超巨型单车,有的偏重纯英文通用场景。而阿里通义千问 Qwen 家族走出的是一条 “全尺寸精密覆盖 + 多语言工程深耕 + 思考与直觉合一” 的路线:从奠定口碑的 Qwen 2.5(Qwen Team, 2024 ↗)到引爆中等规模推理的 QwQ-32B,再到 Qwen3(Qwen Team, 2025 ↗)和斩获 NeurIPS 2025 最佳论文的 Gated Attention(Qiu et al., 2025 ↗),它不仅给手机端到百卡集群备齐了从 0.6B 到 235B 的全套车型,还顺手解决了一个让工程师头疼已久的问题——能不能不要同时部署两个模型,只用一个权重就能既秒回日常闲聊、又深思奥数难题?
类比 · “快慢思考合一”的瑞士军刀 vs. 拆成两套系统的旧方案
过去做 AI 应用非常别扭:用户问“今天北京天气怎么穿衣”,你要路由给快响应对话模型;用户一扔进来一道算法压轴题,你又得切去另一台慢思考推理模型——两套模型占双倍显卡、维护两份记忆,成本高得离谱。
Qwen3 干脆把人类大脑的“系统 1(直觉秒答)”和“系统 2(打草稿深思)”揉进了同一颗大脑:
- 日常问题一键关闭思考开关,模型自动跳过空白
<think>草稿区秒出答案; - 碰到硬骨头打开开关,它立刻展开
<think>...</think>草稿纸一步步推导验算,甚至还能由你设定 “最多想 2000 个字就交卷”的思考预算(Thinking Budget)!
核心设问
从 Qwen2.5 到 Qwen3 再到 Gated Attention,Qwen 团队为什么先放弃 QKV Bias 改用 QK-Norm,又在注意力出口加上一扇小小的 Sigmoid 门控?它的 128 选 8 无共享 MoE 与 双模融合训练又分别踩中了哪些工程妙招?
02 核心直觉:Qwen 家族的三次精准“微创大手术”
类比 · 手术一:151K 大字典 + QK-Norm 给注意力系上“安全带”
- 为什么坚持 151K 多语言大词表? 早期英文为主的 32K 小词典切中文时,经常把一个汉字拆成两三个碎字节,阅读慢还费上下文;Qwen 从早期就坚持 151K 字节级 BPE 词表,中英代码压缩率极高,同时特意把阿拉伯数字按单个数字切分,让模型算加减乘除时不再把
2025当成一个死记硬背的整体词块。 - 为什么 Qwen3 撤掉 QKV Bias 换成 QK-Norm? Qwen2/2.5 曾靠给 Q/K/V 加偏置帮助长度外推,但在 36T 词元、百亿 MoE 高速冲刺时,点积数值容易像脱缰野马一样冲爆精度。Qwen3 干脆撤掉偏置,在算注意力之前给每个头的
和 各套一层 RMSNorm 稳压器(QK-Norm)——训练瞬间稳如老狗,学习率还能开得更高!
类比 · 手术二:Gated Attention——拆掉大模型里的“注意力垃圾桶”
学界早就发现标准 Self-Attention 有个怪毛病叫 Attention Sink:因为 Softmax 逼着所有词的注意力加起来必须等于 100%,哪怕当前词根本不需要回顾任何历史,它也得硬找个地方把这 100% 倒出去——于是几乎所有注意力头都不约而同把废概率全倾倒在文章第一个字(比如 <bos>)身上,把首词元的激活值撑出巨幅尖刺!
Qwen 团队 2025 年提出的 Gated Attention 解法干净到令人拍案叫绝:就在注意力算完输出的大门口,装一扇由当前输入控制的单向阀门(Sigmoid 门控)。如果这个头此刻觉得“历史里没我要的信息”,阀门直接关到接近 0,再也不用拿第一个字当垃圾桶了!结果 Attention Sink 彻底消失,长文本外推和低精度量化全线暴涨。
类比 · 手术三:全局批均衡 + 强弱蒸馏的“降本倍增器”
训练 Qwen3-MoE 时,如果按传统老规矩要求“每一条短句子内部都要把 128 个专家均匀用一遍”,就好比硬逼一篇纯物理论文去请古诗词专家发言,反而妨碍专家专精。Qwen3 改为在整个全局大批次(Global Batch)层面看负载均衡——单篇文章放心只找对口的专业大牛,整个批次合起来依然人人有活干!
而面对 0.6B 到 14B 这一整排轻量小模型,Qwen3 没有傻傻给每个尺寸都烧一遍天价 GRPO 强化学习,而是先砸重金把 235B 和 32B 旗舰练成满级导师,再用 Strong-to-Weak 离策略+在策略知识蒸馏,仅花约十分之一的算力就把双模思考能力批量灌进了整个轻量家族!
03 把关键公式读成人话
先看 Qwen3 稳定百亿训练的 头级 QK-Norm:
**把公式读成直觉:**在把查询向量
再看 Qwen 2025 斩获顶会最佳论文的 G1 位置 Gated Attention:
**把公式读成直觉:**左半边
两者逐元素相乘(
- 在原本纯线性的值投影链条里注入了关键的非线性表达力;
- 允许注意力头随时通过“关门归零”表达“此刻我不需要看历史”,彻底根治首词元 Attention Sink 汇聚病;
- 顺带把深层通道里的巨幅激活异常值压平,让长上下文外推和 FP8 低比特量化顺滑得多!
04 全谱系布局:Dense、MoE 与竞品路线怎么对照?
把 Qwen3 与 DeepSeek 放在一起对照,能一眼看清现代旗舰架构在细节上的精妙取舍:
| 对比维度 | Qwen3-235B-A22B (MoE) | Qwen3-32B / 30B-A3B | DeepSeek-V3 (对照) |
|---|---|---|---|
| 注意力底座 | GQA (64/4) + QK-Norm | GQA + QK-Norm | MLA 低秩 KV 压缩 |
| MoE 专家设计 | 128 选 8,无共享专家 | 30B-A3B 同为 128 选 8 | 256 选 8 + 1 共享专家 |
| 负载均衡法 | 全局批级均衡损失 | 同左 | Aux-Loss-Free 动态偏置 |
| 推理形态 | 单权重双模 + 思考预算 | 经 强弱蒸馏 继承双模 | V3 与 R1 分离发布 |
这种全谱系布局让业务落地格外从容,一次请求在 Qwen3 里会根据难度自动走完不同路径:
- 简单问答 / 格式抽取:模板自动预填空白
<think>\n\n</think>占位符,跳过冗长思考链,以毫秒级首字延迟直出结果; - 复杂代码 / 数学推理:开放
<think>块启动深度 思维链,模型在草稿区反复试算、验错、规划 工具调用,最后再输出干净结论; - 受控预算模式:一旦思考字数触及业务方设定的 Thinking Budget 上限,服务端直接插入收尾提示并强行闭合
</think>,逼模型立刻总结交卷,彻底杜绝线上延迟失控; - 全尺寸无痛迁移:手机端跑 0.6B–4B,单张消费级显卡跑 14B 或 30B-A3B,企业集群跑 235B-A22B,全部共用同一套 151K 多语言词表与双模协议。
05 三个最容易踩的实战坑
- 开启 Thinking 模式千万别把
temperature设成0: 很多人习惯做数学和代码题时关掉随机性走贪心解码,但在 QwQ 与 Qwen3 的长思考链里,temperature=0极易诱发“无限循环自言自语”。官方推荐配合适度采样(如temperature=0.6, top_p=0.95,详见 解码策略)。 - 多轮对话记得剪掉历史轮次的
<think>...</think>草稿: 只把模型最终对用户说的话塞进下一轮上下文,千万别把上一轮长达几千字的内心独白原样喂回去——那只会白白烧光 KV Cache 显存、还容易把新一轮思路带偏。 - 单卡部署优先盯紧
Qwen3-30B-A3B这颗甜点: 它总参 30B 装满了知识,每次生成却只激活 3B 参数;配合 4-bit 量化 塞进单张消费级大显存卡里,既有风驰电掣的吐字速度,又有直逼 32B 稠密模型的推理实力。
把 Qwen 2.5、QwQ、Qwen3 到 Gated Attention 串成一条线来看,它最值得工程师借鉴的是一种 “小改动撬动大收益、全尺寸复用同一套工程资产” 的设计品味:
- 向上突破上限:用 36T 多语言预训练、235B 细粒度 MoE 与四阶段 RLVR 强化学习 拉高复杂推理天花板;
- 向下普惠端侧:用 Strong-to-Weak 蒸馏把旗舰的双模思考本领批量压缩进 0.6B–30B-A3B 轻量化矩阵;
- 向深处修地基:用头级 QK-Norm 稳住百亿训练,再用区区不到 2% 参数的 Sigmoid 门控一举根治困扰 Transformer 多年的 Attention Sink 顽疾。
想查看 Qwen2.5 / QwQ / Qwen3 全系详细超参账本、双模思考预算控制流程图,以及融合头级 QK-Norm 与 Sigmoid 门控的
Qwen3GatedAttention完整 PyTorch 实现?按快捷键M或点击顶部技术 Wiki随时切换。
在开源大模型的全栈生态中,阿里通义千问 Qwen 家族以 “全尺寸梯度覆盖 + 多语言工程深度 + 稳健渐进的底层算子创新” 独树一帜。从奠定多语言与代码数学口碑的 Qwen 2.5,到以 32B 稠密小身板跑出顶尖推理能力的 QwQ-32B,再到集 36T 词元预训练、全尺寸 Dense/MoE、双模统一思考架构于一身的 Qwen3,以及斩获 NeurIPS 2025 最佳论文的 Gated Attention 底层突破,Qwen 系列提供了一套极具工业复用价值的“全谱系整车设计范本”。
起源背景与演进脉络
- Qwen 1 / Qwen 2(2023–2024.06):确立 151K 字节级 BPE 多语言大词表(大幅提升中文与代码压缩率,且对数字逐位切分保护算术能力),在 GQA 中保留 QKV 线性偏置(QKV Bias) 以增强注意力表达与长度外推能力,并将 RoPE 基频拉升至
。 - Qwen 2.5(2024.09,0.5B–72B):架构保持与 Qwen 2 兼容,将预训练语料扩容至 18T 高质词元(重点强化编程、数学合成数据与多阶段 数据工程),衍生出 Qwen2.5-Coder / Math 垂直专精模型,成为众多端侧与开源二次微调的首选基座。
- QwQ-32B(2025.03):在 Qwen2.5-32B 上大规模实施结果可验证强化学习(RLVR / GRPO),验证了中等规模稠密模型无需千亿体量也能凭借长 思维链 与自我纠错在数学、编程与 智能体工具调用 上逼近顶级闭源与 671B 推理模型。
- Qwen3 & Gated Attention(2025.04–05):全面升级至 36T 词元(覆盖 119 种语言)与 Dense(0.6B–32B)+ 细粒度 MoE(30B-A3B / 235B-A22B) 双轨矩阵;底层移除 QKV Bias、全量引入 QK-Norm,后训练首创 Dual-Mode 混合思考融合与 Strong-to-Weak 蒸馏;同期发布的 Gated Attention 更在标准注意力机制中以极简 Sigmoid 门控根治了困扰学界多年的 Attention Sink 顽疾。
核心原理与关键技术创新
1. 从 QKV Bias 到 QK-Norm:注意力稳定性范式切换
Qwen 2 / 2.5 在
这一改动把注意力点积的二阶矩牢牢钳制在有界区间,不仅消除了百亿 MoE 长程训练中的 Loss Spike,还允许采用更激进的峰值学习率与更长的上下文外推。
2. Qwen3-MoE:128 选 8 无共享细粒度路由与全局批均衡
与 DeepSeek-V3 的“256 选 8 + 1 共享专家 + Aux-Loss-Free 偏置”路线不同,Qwen3-MoE(30B-A3B 与旗舰 235B-A22B)选择了另一条极简而高效的 MoE 权衡:
- 128 个细粒度路由专家、Top-8 激活、不设共享专家:团队消融发现,在 128 细粒度切分且每层全部为 MoE 层的配置下,省去共享专家可以简化分布式编排与推理调度,把全部激活预算留给高专精路由专家;
- 全局批级负载均衡损失(Global-Batch Load Balancing Loss):传统微批(Micro-Batch)均衡损失强迫每条短序列内部都把所有专家用一遍,抑制了领域特化;Qwen3 改为在整个全局批(跨数据并行域) 上统计路由负载
与平均概率 ,既防止路由坍塌,又允许单个数学或代码文档安心集中调用专精专家!
3. 四阶段双模融合与思考预算(Thinking Budget)
Qwen3 打破了“普通对话模型”与“慢思考推理模型”分家维护的割裂局面,通过四阶段后训练流水线把两种模式装进同一组权重:
- 长 CoT 冷启动 SFT:注入涵盖数学、代码与逻辑的高质量长思考轨迹;
- 推理强化学习(RLVR):针对可验证难题大规模扩增思考深度与自省准确率;
- 思考模式融合(Thinking Mode Fusion):在对齐模板中显式引入
<think>...</think>块——开启思考模式时模型自由展开推理链,关闭思考模式时在提示尾预填空的<think>\n\n</think>直接输出最终答案; - 通用强化学习 + Strong-to-Weak 蒸馏:在 20+ 通用任务上打磨指令遵循与智能体格式,再对轻量模型做先离策略(Off-Policy)后在策略(On-Policy) 的强弱 logits 蒸馏,仅用常规 RL 约 1/10 GPU 小时便让 0.6B–14B 模型同时掌握双模推理。
4. Qwen 2025 Gated Attention:根治 Attention Sink 的头专属门控
针对标准 Softmax 注意力强制权重之和为 1 导致的 Attention Sink(大量无关概率被迫倾倒在首个 <bos> 词元上并催生巨幅激活异常值),Qwen 团队在 Gated Attention(Qiu et al., 2025) 中发现:在 SDPA 输出之后、
其中
Qwen3 全链路架构与双模数据流图
图表加载中...
Qwen 2.5 / QwQ / Qwen3 全系规格横向账本
| 关键维度 | Qwen2.5-72B | QwQ-32B | Qwen3-32B (Dense) | Qwen3-235B-A22B (MoE) |
|---|---|---|---|---|
| 总参 / 激活参 | 72.7B / 72.7B | 32.5B / 32.5B | 32.8B / 32.8B | 235B / 22B |
| 层数 / 隐维 | 80 / 8192 | 64 / 5120 | 64 / 5120 | 94 / 4096 |
| 注意力机制 | GQA (64/8) + QKV Bias | GQA (40/8) + QKV Bias | GQA (64/8) + QK-Norm | GQA (64/4) + QK-Norm |
| MoE 专家配置 | 稠密 SwiGLU | 稠密 SwiGLU | 稠密 SwiGLU | 128 路由(Top-8,无共享) |
| 词表 / 上下文 | 151.6K / 128K | 151.6K / 128K | 151.6K / 128K (YaRN) | 151.6K / 128K (YaRN) |
| 预训练语料 | 18T 词元 | Qwen2.5 基座 + RLVR | 36T 词元(119 语) | 36T 词元(119 语) |
| 推理模式控制 | 单一标准模式 | 固定长思考模式 | 双模切换 + 预算控制 | 双模切换 + 预算控制 |
核心 PyTorch 参考实现(Qwen3 QK-Norm + Gated Attention)
下面展示 Qwen3 标准 GQA + Head-wise QK-Norm 并融合 Qwen 2025 SDPA 后置 Sigmoid 门控(Gated Attention) 的简洁实现:
python
import torch
import torch.nn as nn
import torch.nn.functional as F
class RMSNorm(nn.Module):
def __init__(self, d: int, eps: float = 1e-6):
super().__init__()
self.weight = nn.Parameter(torch.ones(d))
self.eps = eps
def forward(self, x: torch.Tensor) -> torch.Tensor:
return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight
class Qwen3GatedAttention(nn.Module):
"""Qwen3 风格 GQA(无 QKV Bias + 头级 QK-Norm)+ G1 位置头专属 Sigmoid Gated Attention"""
def __init__(self, d_model=256, n_heads=8, n_kv_heads=2, use_gate=True):
super().__init__()
self.n_heads, self.n_kv_heads = n_heads, n_kv_heads
self.head_dim = d_model // n_heads
self.use_gate = use_gate
# Qwen3 移除 QKV Bias;若开启 Gated Attention,并行生成每头门控 logits
q_out = n_heads * self.head_dim * (2 if use_gate else 1)
self.wq = nn.Linear(d_model, q_out, bias=False)
self.wk = nn.Linear(d_model, n_kv_heads * self.head_dim, bias=False)
self.wv = nn.Linear(d_model, n_kv_heads * self.head_dim, bias=False)
self.wo = nn.Linear(n_heads * self.head_dim, d_model, bias=False)
# Qwen3 核心稳定性改动:头维 QK-Norm
self.q_norm = RMSNorm(self.head_dim)
self.k_norm = RMSNorm(self.head_dim)
def forward(self, x: torch.Tensor) -> torch.Tensor:
B, T, _ = x.shape
if self.use_gate:
q_and_gate = self.wq(x).view(B, T, self.n_heads, 2 * self.head_dim)
q, gate_logits = q_and_gate.chunk(2, dim=-1) # 门控与 Q 共享输入投影
else:
q = self.wq(x).view(B, T, self.n_heads, self.head_dim)
gate_logits = None
k = self.wk(x).view(B, T, self.n_kv_heads, self.head_dim)
v = self.wv(x).view(B, T, self.n_kv_heads, self.head_dim)
# 对每个头的 Q、K 执行 RMSNorm(生产环境紧接施加 RoPE)
q = self.q_norm(q).transpose(1, 2)
k = self.k_norm(k).transpose(1, 2)
v = v.transpose(1, 2)
rep = self.n_heads // self.n_kv_heads
k, v = k.repeat_interleave(rep, dim=1), v.repeat_interleave(rep, dim=1)
attn_out = F.scaled_dot_product_attention(q, k, v, is_causal=True) # [B, H, T, Dh]
attn_out = attn_out.transpose(1, 2) # [B, T, H, Dh]
# G1 位置头专属元素级 Sigmoid 门控:根治 Attention Sink 并引入稀疏非线性
if gate_logits is not None:
attn_out = attn_out * torch.sigmoid(gate_logits)
return self.wo(attn_out.contiguous().view(B, T, -1))工程实践与常见陷阱
工程实践
- 按业务延迟精细设定 Thinking Budget:线上部署 Qwen3 时,简单客服或结构化抽取直接走 Non-Thinking(或将预算截断为 0),复杂代码修复与数理推导开启 Thinking 并设合理 token 上限,一旦触顶即强制闭合
</think>引导收尾作答,可在不维护两套模型权重的前提下灵活平衡 SLA 与正确率。 - 30B-A3B 是单卡与小集群的高性价比甜点:Qwen3-30B-A3B 总参 30B、激活仅 3B,经 4-bit 量化后单张消费级 24GB 显卡即可高速运行,却能在推理与代码基准上逼近前代 QwQ-32B 稠密模型。
- 长上下文启用 YaRN 需配合推荐缩放系数:Qwen3 原生支持 32K,通过 YaRN 可平滑扩至 128K;但在仅需短文本问答时切勿无脑常驻高倍率 YaRN,以免轻微稀释 32K 以内的局部位置分辨率。
常见陷阱
- 在 Thinking 模式下使用贪心解码(
temperature=0):Qwen3 与 QwQ 官方明确警告,开启深度思考时若设temperature=0极易陷入死循环复读;生产推荐temperature=0.6, top_p=0.95, top_k=20(详见 解码采样策略)。 - 多轮对话历史中把前几轮的
<think>...</think>块继续喂回模型:多轮交互时只应保留每轮最终对外回复作为历史上下文,剔除历史思考过程——既大幅节省 KV Cache 显存,又避免旧草稿干扰新一轮推理。 - 忽视 151K 大词表在超小模型上的参数占比:在 Qwen3-0.6B/1.7B 上,151K 词表对应的 Embedding 权重占比极高,因此小尺寸型号必须启用 Tied Embedding(输入嵌入与输出头权重共享) 以压缩显存与过拟合风险。
延伸阅读与参考论文
- Qwen3 完整技术报告:Qwen Team, Qwen3 Technical Report, 2025 (arXiv:2505.09388 ↗).
- Gated Attention 突破论文:Qiu et al., Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free, NeurIPS 2025 (arXiv:2505.06708 ↗).
- Qwen 2.5 技术报告:Qwen Team, Qwen2.5 Technical Report, 2024 (arXiv:2412.15115 ↗).
- Qwen 2 与 Qwen 1 演进脉络:Yang et al., Qwen2 Technical Report, 2024 (arXiv:2407.10671 ↗); Bai et al., Qwen Technical Report, 2023 (arXiv:2309.16609 ↗).