Skip to content

Qwen 2.5 / Qwen3 / QwQ 架构剖析

剖析 Qwen2.5/QwQ/Qwen3 全尺寸演进,聚焦 QK-Norm、双模思考融合、细粒度 MoE 与门控注意力。

年份 2025 原论文 Qwen Team (2025). Qwen3 Technical Report ↗ 难度 进阶
当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 为什么要整车剖析 Qwen 2.5 / Qwen3 / QwQ?

通义千问(Qwen)系列 是全球多语言与开源全尺寸家族(从 0.5B 端侧小模型到百亿/千亿 MoE)工程打磨最具代表性的范本之一。

它在中英文及代码大词表设计(151K BPE)、用 QK-Norm 与 Gated Attention 稳住训练与消除 Attention Sink、以及 Qwen3 首创的单模型双模式切换(思考模式 Thinking / 快速响应 Non-Thinking 自由控预算) 上提供了极佳的架构与后训练实战参照。

01 问题从何而来:怎么让一套模型家族“老少通吃、快慢皆宜”? ​

在开源世界里,各家旗舰往往各有所长:有的专注打造超巨型单车,有的偏重纯英文通用场景。而阿里通义千问 Qwen 家族走出的是一条 “全尺寸精密覆盖 + 多语言工程深耕 + 思考与直觉合一” 的路线:从奠定口碑的 Qwen 2.5(Qwen Team, 2024 ↗)到引爆中等规模推理的 QwQ-32B,再到 Qwen3(Qwen Team, 2025 ↗)和斩获 NeurIPS 2025 最佳论文的 Gated Attention(Qiu et al., 2025 ↗),它不仅给手机端到百卡集群备齐了从 0.6B 到 235B 的全套车型,还顺手解决了一个让工程师头疼已久的问题——能不能不要同时部署两个模型,只用一个权重就能既秒回日常闲聊、又深思奥数难题?

类比 · “快慢思考合一”的瑞士军刀 vs. 拆成两套系统的旧方案

过去做 AI 应用非常别扭:用户问“今天北京天气怎么穿衣”,你要路由给快响应对话模型;用户一扔进来一道算法压轴题,你又得切去另一台慢思考推理模型——两套模型占双倍显卡、维护两份记忆,成本高得离谱。

Qwen3 干脆把人类大脑的“系统 1(直觉秒答)”和“系统 2(打草稿深思)”揉进了同一颗大脑:

  • 日常问题一键关闭思考开关,模型自动跳过空白 <think> 草稿区秒出答案;
  • 碰到硬骨头打开开关,它立刻展开 <think>...</think> 草稿纸一步步推导验算,甚至还能由你设定 “最多想 2000 个字就交卷”的思考预算(Thinking Budget)!
核心设问

从 Qwen2.5 到 Qwen3 再到 Gated Attention,Qwen 团队为什么先放弃 QKV Bias 改用 QK-Norm,又在注意力出口加上一扇小小的 Sigmoid 门控?它的 128 选 8 无共享 MoE 与 双模融合训练又分别踩中了哪些工程妙招?

02 核心直觉:Qwen 家族的三次精准“微创大手术” ​

类比 · 手术一:151K 大字典 + QK-Norm 给注意力系上“安全带”
  • 为什么坚持 151K 多语言大词表? 早期英文为主的 32K 小词典切中文时,经常把一个汉字拆成两三个碎字节,阅读慢还费上下文;Qwen 从早期就坚持 151K 字节级 BPE 词表,中英代码压缩率极高,同时特意把阿拉伯数字按单个数字切分,让模型算加减乘除时不再把 2025 当成一个死记硬背的整体词块。
  • 为什么 Qwen3 撤掉 QKV Bias 换成 QK-Norm? Qwen2/2.5 曾靠给 Q/K/V 加偏置帮助长度外推,但在 36T 词元、百亿 MoE 高速冲刺时,点积数值容易像脱缰野马一样冲爆精度。Qwen3 干脆撤掉偏置,在算注意力之前给每个头的 Q 和 K 各套一层 RMSNorm 稳压器(QK-Norm)——训练瞬间稳如老狗,学习率还能开得更高!
类比 · 手术二:Gated Attention——拆掉大模型里的“注意力垃圾桶”

学界早就发现标准 Self-Attention 有个怪毛病叫 Attention Sink:因为 Softmax 逼着所有词的注意力加起来必须等于 100%,哪怕当前词根本不需要回顾任何历史,它也得硬找个地方把这 100% 倒出去——于是几乎所有注意力头都不约而同把废概率全倾倒在文章第一个字(比如 <bos>)身上,把首词元的激活值撑出巨幅尖刺!

Qwen 团队 2025 年提出的 Gated Attention 解法干净到令人拍案叫绝:就在注意力算完输出的大门口,装一扇由当前输入控制的单向阀门(Sigmoid 门控)。如果这个头此刻觉得“历史里没我要的信息”,阀门直接关到接近 0,再也不用拿第一个字当垃圾桶了!结果 Attention Sink 彻底消失,长文本外推和低精度量化全线暴涨。

类比 · 手术三:全局批均衡 + 强弱蒸馏的“降本倍增器”

训练 Qwen3-MoE 时,如果按传统老规矩要求“每一条短句子内部都要把 128 个专家均匀用一遍”,就好比硬逼一篇纯物理论文去请古诗词专家发言,反而妨碍专家专精。Qwen3 改为在整个全局大批次(Global Batch)层面看负载均衡——单篇文章放心只找对口的专业大牛,整个批次合起来依然人人有活干!

而面对 0.6B 到 14B 这一整排轻量小模型,Qwen3 没有傻傻给每个尺寸都烧一遍天价 GRPO 强化学习,而是先砸重金把 235B 和 32B 旗舰练成满级导师,再用 Strong-to-Weak 离策略+在策略知识蒸馏,仅花约十分之一的算力就把双模思考能力批量灌进了整个轻量家族!

03 把关键公式读成人话 ​

先看 Qwen3 稳定百亿训练的 头级 QK-Norm:

q~t,h=RoPE(RMSNormQ(qt,h)),k~t,h=RoPE(RMSNormK(kt,h))

**把公式读成直觉:**在把查询向量 q 和键向量 k 拿去旋转位置编码(RoPE)和做点积之前,先各自按头做一遍长度规整(RMSNorm)。好比两个选手上台掰手腕前先统一称重校准,保证无论训练跑了多少万步,点积分数都不会失控飙到无穷大把 Softmax 卡死。

再看 Qwen 2025 斩获顶会最佳论文的 G1 位置 Gated Attention:

Ygated=SDPA(Q,K,V)⊙σ(XWθ)

**把公式读成直觉:**左半边 SDPA(Q,K,V) 是你最熟悉的标准注意力输出;右半边 σ(XWθ) 是一个取值在 0∼1 之间的开关矩阵,且由当前输入 X 动态决定。

两者逐元素相乘(⊙)后同时收获三大红利:

  • 在原本纯线性的值投影链条里注入了关键的非线性表达力;
  • 允许注意力头随时通过“关门归零”表达“此刻我不需要看历史”,彻底根治首词元 Attention Sink 汇聚病;
  • 顺带把深层通道里的巨幅激活异常值压平,让长上下文外推和 FP8 低比特量化顺滑得多!

04 全谱系布局:Dense、MoE 与竞品路线怎么对照? ​

把 Qwen3 与 DeepSeek 放在一起对照,能一眼看清现代旗舰架构在细节上的精妙取舍:

对比维度Qwen3-235B-A22B (MoE)Qwen3-32B / 30B-A3BDeepSeek-V3 (对照)
注意力底座GQA (64/4) + QK-NormGQA + QK-NormMLA 低秩 KV 压缩
MoE 专家设计128 选 8,无共享专家30B-A3B 同为 128 选 8256 选 8 + 1 共享专家
负载均衡法全局批级均衡损失同左Aux-Loss-Free 动态偏置
推理形态单权重双模 + 思考预算经 强弱蒸馏 继承双模V3 与 R1 分离发布

这种全谱系布局让业务落地格外从容,一次请求在 Qwen3 里会根据难度自动走完不同路径:

  • 简单问答 / 格式抽取:模板自动预填空白 <think>\n\n</think> 占位符,跳过冗长思考链,以毫秒级首字延迟直出结果;
  • 复杂代码 / 数学推理:开放 <think> 块启动深度 思维链,模型在草稿区反复试算、验错、规划 工具调用,最后再输出干净结论;
  • 受控预算模式:一旦思考字数触及业务方设定的 Thinking Budget 上限,服务端直接插入收尾提示并强行闭合 </think>,逼模型立刻总结交卷,彻底杜绝线上延迟失控;
  • 全尺寸无痛迁移:手机端跑 0.6B–4B,单张消费级显卡跑 14B 或 30B-A3B,企业集群跑 235B-A22B,全部共用同一套 151K 多语言词表与双模协议。

05 三个最容易踩的实战坑 ​

  1. 开启 Thinking 模式千万别把 temperature 设成 0: 很多人习惯做数学和代码题时关掉随机性走贪心解码,但在 QwQ 与 Qwen3 的长思考链里,temperature=0 极易诱发“无限循环自言自语”。官方推荐配合适度采样(如 temperature=0.6, top_p=0.95,详见 解码策略)。
  2. 多轮对话记得剪掉历史轮次的 <think>...</think> 草稿: 只把模型最终对用户说的话塞进下一轮上下文,千万别把上一轮长达几千字的内心独白原样喂回去——那只会白白烧光 KV Cache 显存、还容易把新一轮思路带偏。
  3. 单卡部署优先盯紧 Qwen3-30B-A3B 这颗甜点: 它总参 30B 装满了知识,每次生成却只激活 3B 参数;配合 4-bit 量化 塞进单张消费级大显存卡里,既有风驰电掣的吐字速度,又有直逼 32B 稠密模型的推理实力。

把 Qwen 2.5、QwQ、Qwen3 到 Gated Attention 串成一条线来看,它最值得工程师借鉴的是一种 “小改动撬动大收益、全尺寸复用同一套工程资产” 的设计品味:

  • 向上突破上限:用 36T 多语言预训练、235B 细粒度 MoE 与四阶段 RLVR 强化学习 拉高复杂推理天花板;
  • 向下普惠端侧:用 Strong-to-Weak 蒸馏把旗舰的双模思考本领批量压缩进 0.6B–30B-A3B 轻量化矩阵;
  • 向深处修地基:用头级 QK-Norm 稳住百亿训练,再用区区不到 2% 参数的 Sigmoid 门控一举根治困扰 Transformer 多年的 Attention Sink 顽疾。

想查看 Qwen2.5 / QwQ / Qwen3 全系详细超参账本、双模思考预算控制流程图,以及融合头级 QK-Norm 与 Sigmoid 门控的 Qwen3GatedAttention 完整 PyTorch 实现?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

在开源大模型的全栈生态中,阿里通义千问 Qwen 家族以 “全尺寸梯度覆盖 + 多语言工程深度 + 稳健渐进的底层算子创新” 独树一帜。从奠定多语言与代码数学口碑的 Qwen 2.5,到以 32B 稠密小身板跑出顶尖推理能力的 QwQ-32B,再到集 36T 词元预训练、全尺寸 Dense/MoE、双模统一思考架构于一身的 Qwen3,以及斩获 NeurIPS 2025 最佳论文的 Gated Attention 底层突破,Qwen 系列提供了一套极具工业复用价值的“全谱系整车设计范本”。

起源背景与演进脉络 ​

  1. Qwen 1 / Qwen 2(2023–2024.06):确立 151K 字节级 BPE 多语言大词表(大幅提升中文与代码压缩率,且对数字逐位切分保护算术能力),在 GQA 中保留 QKV 线性偏置(QKV Bias) 以增强注意力表达与长度外推能力,并将 RoPE 基频拉升至 θ=106。
  2. Qwen 2.5(2024.09,0.5B–72B):架构保持与 Qwen 2 兼容,将预训练语料扩容至 18T 高质词元(重点强化编程、数学合成数据与多阶段 数据工程),衍生出 Qwen2.5-Coder / Math 垂直专精模型,成为众多端侧与开源二次微调的首选基座。
  3. QwQ-32B(2025.03):在 Qwen2.5-32B 上大规模实施结果可验证强化学习(RLVR / GRPO),验证了中等规模稠密模型无需千亿体量也能凭借长 思维链 与自我纠错在数学、编程与 智能体工具调用 上逼近顶级闭源与 671B 推理模型。
  4. Qwen3 & Gated Attention(2025.04–05):全面升级至 36T 词元(覆盖 119 种语言)与 Dense(0.6B–32B)+ 细粒度 MoE(30B-A3B / 235B-A22B) 双轨矩阵;底层移除 QKV Bias、全量引入 QK-Norm,后训练首创 Dual-Mode 混合思考融合与 Strong-to-Weak 蒸馏;同期发布的 Gated Attention 更在标准注意力机制中以极简 Sigmoid 门控根治了困扰学界多年的 Attention Sink 顽疾。

核心原理与关键技术创新 ​

1. 从 QKV Bias 到 QK-Norm:注意力稳定性范式切换 ​

Qwen 2 / 2.5 在 Q,K,V 投影中保留了偏置项以辅助模型形成平移特征与外推能力;但在超大规模与高学习率训练下,未归一化的查询-键点积容易触发梯度尖峰。Qwen3 全面移除 QKV Bias,改在 RoPE 旋转之前对每个注意力头的 Q,K 施加独立 RMSNorm(即 QK-Norm,详见 训练稳定性技巧):

q~t,h=RoPE(RMSNormQ(qt,h)),k~t,h=RoPE(RMSNormK(kt,h))

这一改动把注意力点积的二阶矩牢牢钳制在有界区间,不仅消除了百亿 MoE 长程训练中的 Loss Spike,还允许采用更激进的峰值学习率与更长的上下文外推。

2. Qwen3-MoE:128 选 8 无共享细粒度路由与全局批均衡 ​

与 DeepSeek-V3 的“256 选 8 + 1 共享专家 + Aux-Loss-Free 偏置”路线不同,Qwen3-MoE(30B-A3B 与旗舰 235B-A22B)选择了另一条极简而高效的 MoE 权衡:

  • 128 个细粒度路由专家、Top-8 激活、不设共享专家:团队消融发现,在 128 细粒度切分且每层全部为 MoE 层的配置下,省去共享专家可以简化分布式编排与推理调度,把全部激活预算留给高专精路由专家;
  • 全局批级负载均衡损失(Global-Batch Load Balancing Loss):传统微批(Micro-Batch)均衡损失强迫每条短序列内部都把所有专家用一遍,抑制了领域特化;Qwen3 改为在整个全局批(跨数据并行域) 上统计路由负载 fi 与平均概率 Pi,既防止路由坍塌,又允许单个数学或代码文档安心集中调用专精专家!

3. 四阶段双模融合与思考预算(Thinking Budget) ​

Qwen3 打破了“普通对话模型”与“慢思考推理模型”分家维护的割裂局面,通过四阶段后训练流水线把两种模式装进同一组权重:

  1. 长 CoT 冷启动 SFT:注入涵盖数学、代码与逻辑的高质量长思考轨迹;
  2. 推理强化学习(RLVR):针对可验证难题大规模扩增思考深度与自省准确率;
  3. 思考模式融合(Thinking Mode Fusion):在对齐模板中显式引入 <think>...</think> 块——开启思考模式时模型自由展开推理链,关闭思考模式时在提示尾预填空的 <think>\n\n</think> 直接输出最终答案;
  4. 通用强化学习 + Strong-to-Weak 蒸馏:在 20+ 通用任务上打磨指令遵循与智能体格式,再对轻量模型做先离策略(Off-Policy)后在策略(On-Policy) 的强弱 logits 蒸馏,仅用常规 RL 约 1/10 GPU 小时便让 0.6B–14B 模型同时掌握双模推理。

4. Qwen 2025 Gated Attention:根治 Attention Sink 的头专属门控 ​

针对标准 Softmax 注意力强制权重之和为 1 导致的 Attention Sink(大量无关概率被迫倾倒在首个 <bos> 词元上并催生巨幅激活异常值),Qwen 团队在 Gated Attention(Qiu et al., 2025) 中发现:在 SDPA 输出之后、WO 之前施加查询相关的头专属 Sigmoid 乘性门控(G1 位置) 效果最佳:

Ygated=SDPA(Q,K,V)⊙σ(XWθ)

其中 σ(XWθ) 为输入相关的稀疏门控(大量通道自动趋近于 0)。该设计以不足 2% 的额外参数量引入关键的输入相关非线性与稀疏截断能力:当某注意力头在当前步无需从历史提取信息时,门控可直接将其归零,不再需要借首词元充当“垃圾桶”,从而彻底消除 Attention Sink、压平激活异常值,并显著提升 YaRN 长上下文外推与 FP8 量化友好度。

Qwen3 全链路架构与双模数据流图 ​

图表加载中...

Qwen 2.5 / QwQ / Qwen3 全系规格横向账本 ​

关键维度Qwen2.5-72BQwQ-32BQwen3-32B (Dense)Qwen3-235B-A22B (MoE)
总参 / 激活参72.7B / 72.7B32.5B / 32.5B32.8B / 32.8B235B / 22B
层数 / 隐维 d80 / 819264 / 512064 / 512094 / 4096
注意力机制GQA (64/8) + QKV BiasGQA (40/8) + QKV BiasGQA (64/8) + QK-NormGQA (64/4) + QK-Norm
MoE 专家配置稠密 SwiGLU稠密 SwiGLU稠密 SwiGLU128 路由(Top-8,无共享)
词表 / 上下文151.6K / 128K151.6K / 128K151.6K / 128K (YaRN)151.6K / 128K (YaRN)
预训练语料18T 词元Qwen2.5 基座 + RLVR36T 词元(119 语)36T 词元(119 语)
推理模式控制单一标准模式固定长思考模式双模切换 + 预算控制双模切换 + 预算控制

核心 PyTorch 参考实现(Qwen3 QK-Norm + Gated Attention) ​

下面展示 Qwen3 标准 GQA + Head-wise QK-Norm 并融合 Qwen 2025 SDPA 后置 Sigmoid 门控(Gated Attention) 的简洁实现:

python
import torch
import torch.nn as nn
import torch.nn.functional as F


class RMSNorm(nn.Module):
    def __init__(self, d: int, eps: float = 1e-6):
        super().__init__()
        self.weight = nn.Parameter(torch.ones(d))
        self.eps = eps

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.weight


class Qwen3GatedAttention(nn.Module):
    """Qwen3 风格 GQA(无 QKV Bias + 头级 QK-Norm)+ G1 位置头专属 Sigmoid Gated Attention"""
    def __init__(self, d_model=256, n_heads=8, n_kv_heads=2, use_gate=True):
        super().__init__()
        self.n_heads, self.n_kv_heads = n_heads, n_kv_heads
        self.head_dim = d_model // n_heads
        self.use_gate = use_gate

        # Qwen3 移除 QKV Bias;若开启 Gated Attention,并行生成每头门控 logits
        q_out = n_heads * self.head_dim * (2 if use_gate else 1)
        self.wq = nn.Linear(d_model, q_out, bias=False)
        self.wk = nn.Linear(d_model, n_kv_heads * self.head_dim, bias=False)
        self.wv = nn.Linear(d_model, n_kv_heads * self.head_dim, bias=False)
        self.wo = nn.Linear(n_heads * self.head_dim, d_model, bias=False)

        # Qwen3 核心稳定性改动:头维 QK-Norm
        self.q_norm = RMSNorm(self.head_dim)
        self.k_norm = RMSNorm(self.head_dim)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B, T, _ = x.shape
        if self.use_gate:
            q_and_gate = self.wq(x).view(B, T, self.n_heads, 2 * self.head_dim)
            q, gate_logits = q_and_gate.chunk(2, dim=-1)  # 门控与 Q 共享输入投影
        else:
            q = self.wq(x).view(B, T, self.n_heads, self.head_dim)
            gate_logits = None

        k = self.wk(x).view(B, T, self.n_kv_heads, self.head_dim)
        v = self.wv(x).view(B, T, self.n_kv_heads, self.head_dim)

        # 对每个头的 Q、K 执行 RMSNorm(生产环境紧接施加 RoPE)
        q = self.q_norm(q).transpose(1, 2)
        k = self.k_norm(k).transpose(1, 2)
        v = v.transpose(1, 2)

        rep = self.n_heads // self.n_kv_heads
        k, v = k.repeat_interleave(rep, dim=1), v.repeat_interleave(rep, dim=1)
        attn_out = F.scaled_dot_product_attention(q, k, v, is_causal=True)  # [B, H, T, Dh]
        attn_out = attn_out.transpose(1, 2)  # [B, T, H, Dh]

        # G1 位置头专属元素级 Sigmoid 门控:根治 Attention Sink 并引入稀疏非线性
        if gate_logits is not None:
            attn_out = attn_out * torch.sigmoid(gate_logits)

        return self.wo(attn_out.contiguous().view(B, T, -1))

工程实践与常见陷阱 ​

工程实践

  1. 按业务延迟精细设定 Thinking Budget:线上部署 Qwen3 时,简单客服或结构化抽取直接走 Non-Thinking(或将预算截断为 0),复杂代码修复与数理推导开启 Thinking 并设合理 token 上限,一旦触顶即强制闭合 </think> 引导收尾作答,可在不维护两套模型权重的前提下灵活平衡 SLA 与正确率。
  2. 30B-A3B 是单卡与小集群的高性价比甜点:Qwen3-30B-A3B 总参 30B、激活仅 3B,经 4-bit 量化后单张消费级 24GB 显卡即可高速运行,却能在推理与代码基准上逼近前代 QwQ-32B 稠密模型。
  3. 长上下文启用 YaRN 需配合推荐缩放系数:Qwen3 原生支持 32K,通过 YaRN 可平滑扩至 128K;但在仅需短文本问答时切勿无脑常驻高倍率 YaRN,以免轻微稀释 32K 以内的局部位置分辨率。

常见陷阱

  1. 在 Thinking 模式下使用贪心解码(temperature=0):Qwen3 与 QwQ 官方明确警告,开启深度思考时若设 temperature=0 极易陷入死循环复读;生产推荐 temperature=0.6, top_p=0.95, top_k=20(详见 解码采样策略)。
  2. 多轮对话历史中把前几轮的 <think>...</think> 块继续喂回模型:多轮交互时只应保留每轮最终对外回复作为历史上下文,剔除历史思考过程——既大幅节省 KV Cache 显存,又避免旧草稿干扰新一轮推理。
  3. 忽视 151K 大词表在超小模型上的参数占比:在 Qwen3-0.6B/1.7B 上,151K 词表对应的 Embedding 权重占比极高,因此小尺寸型号必须启用 Tied Embedding(输入嵌入与输出头权重共享) 以压缩显存与过拟合风险。

延伸阅读与参考论文 ​

  • Qwen3 完整技术报告:Qwen Team, Qwen3 Technical Report, 2025 (arXiv:2505.09388 ↗).
  • Gated Attention 突破论文:Qiu et al., Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free, NeurIPS 2025 (arXiv:2505.06708 ↗).
  • Qwen 2.5 技术报告:Qwen Team, Qwen2.5 Technical Report, 2024 (arXiv:2412.15115 ↗).
  • Qwen 2 与 Qwen 1 演进脉络:Yang et al., Qwen2 Technical Report, 2024 (arXiv:2407.10671 ↗); Bai et al., Qwen Technical Report, 2023 (arXiv:2309.16609 ↗).