外观
概念定义 · 什么是模型合并(Model Merging)?
假如你手上已经有一个擅长写代码的微调模型、一个擅长做数学的模型和一个擅长聊天的模型,难道必须把三份数据重新混在一起再花大钱重训一遍吗?
模型合并(Model Merging) 允许你不花一分训练算力,直接把多个同源微调模型的权重矩阵按几何或稀疏规则相加融合(如 SLERP、Task Arithmetic、TIES、DARE),就能拼出一个同时具备多项专长的全能模型;甚至还能把多个稠密微调模型直接组装成一个 MoE 模型(Upcycling)。
01 问题从何而来:手头有三个偏科专家模型,能不能“免训练”直接合体成全能王?
假设你的团队已经基于同一个开源基座,分别微调出了三个专精高手:
- A 模型是奥数推理大神;
- B 模型是顶尖代码工程师;
- C 模型是情商极高的中文对话助手。
现在老板说:“我要一个既懂奥数、又会写代码、还情商高的全能模型!”传统做法只有两条苦路:要么把三份数据混在一起花巨资重新联合 SFT(还极易出现顾此失彼的跷跷板效应);要么部署时把三个模型全塞进显存同时推理(成本直接翻三倍)。
于是社区冒出一个听起来像科幻片的疯狂想法:既然这三个模型都脱胎于同一个基座,能不能不跑一行反向传播、不用一条训练数据,直接在 CPU 上把它们的权重文件像“调鸡尾酒”一样算术合并,五分钟炼出一个零额外推理开销的全能模型?
核心设问
直接把两个神经网络的权重取平均,为什么在早期深度学习里一合并就变智障,但在现代大模型微调里却能神奇奏效?当多个专家的权重在同一个参数位置上互相拉扯打架时,TIES、DARE 和 Sparse Upcycling 又是怎么化解冲突的?
02 核心直觉与生活类比
要一口气吃透从 Model Soups、SLERP、Task Arithmetic 到 TIES / DARE 的全部脉络,看下面三个极接地气的画面就够了:
类比 · 类比一:为什么同源大模型可以“直接拼装大脑”?(线性模式连通性与任务向量)
如果把两个陌生人(从零独立预训练的模型)的记忆神经元硬平均,语言区和视觉区完全错位,结果只能是胡言乱语。但基于同一个基座微调出来的多个专家,就像是同卵三胞胎毕业后各自去进修了一门技能——他们大脑的基础坐标系完全对齐!
在数学上,这叫线性模式连通性(Linear Mode Connectivity):从同一个基座出发微调出的权重,全都落在损失山谷的同一个连通盆地里(Model Soups, 2022 ↗)。因此,只要拿专家权重减去基座权重
类比 · 类比二:为什么多模型直接相加会打架?——“拔河内耗”与 TIES / DARE 调解术
虽然同源可以合并,但一口气合并三五个专家时,直接相加经常把模型加傻,原因是两个隐形内耗:
- 符号拔河:在同一个参数旋钮上,数学专家想把它往左拧
-0.5,代码专家却想往右拧+0.4,一平均变成-0.05,两边本事全给抵消光了! - 杂音淹没:其实 80%~95% 的微调变动都只是微不足道的毛刺噪声,几个专家的噪声叠在一起反而盖过了真正起作用的关键参数。
于是两把“神级调解斧”横空出世:
- TIES-Merging(Yadav et al., 2023 ↗)祭出三步铁律:先裁剪(Trim) 扔掉 80% 的微弱杂音;再投票选符号(Elect Sign) 看这个旋钮上正派总力量大还是负派总力量大;最后只让同阵营的平均(Disjoint Merge),彻底消除拔河内耗!
- DARE(Yu et al., 2023 ↗)发现了一个逆天现象:把微调增量里高达 90% 甚至 99% 的参数像抽奖一样随机清空归零,再把活下来的参数按比例放大(保持数学期望不变),单模型实力居然几乎毫无损失!而每个专家都只占 10% 的格子后,两个专家撞车打架的概率瞬间暴跌到
!
类比 · 类比三:实在塞不进同一个脑袋怎么办?——“合租办公室”(Dense-to-MoE)
如果你手头的专家跨界太大(比如一个是 Python 专家、一个是古汉语专家、一个是生信专家),硬塞进同一个稠密大脑总会相互挤压。Sparse Upcycling(Komatsuzaki et al., 2022 ↗)干脆换个思路:大家共用前台接待(把自注意力层取平均),但把各自的专家知识库(FFN 层)各自保留为独立隔间,门口加一个轻量化前台分流员(路由器),瞬间把 8 个 7B 稠密专家零重训拼装成一座宏伟的
03 把关键公式读成人话
当只有两个专家模型
**把公式读成直觉:**高维空间里的两个权重向量好比地球仪表面上的两个点(参见线性代数与张量基础)。如果你傻傻地做直线中点平均(LERP),直线会从地心内部穿过去,导致合并后的向量长度大幅缩水(缩到原来的 0.7 倍),破坏整层神经网络的信号强度;而 SLERP 是贴着地球表面沿大圆弧走航线,既平滑融合了两种能力,又死死保住了权重向量的几何模长!
而在多专家融合中,DARE + TIES 的核心组合美得像一行极简诗:
把公式读成直觉:- 第一步 DARE:抽出技能增量
- 第二步 TIES 选边站队:保留前
强信号后,按总票数选出每个参数位的主导方向 ,只对“站队一致且发声了”的专家求均值,最后加回基座大脑 。 - 实际工程里甚至可以逐层设置不同融合曲线(如底层偏向语言基座、高层偏向推理专家),或者交给 Evolutionary Merge(Akiba et al., 2024 ↗)的进化算法自动搜索最佳配方!
04 它在模型里怎么工作 & 与上下游的关系
如果你想亲手把两个或多个同源专家合体,用开源神器 MergeKit(Goddard et al., 2024 ↗)在普通 CPU 机器上只需四步就能出锅:
- 确认血缘一致:核对所有待合并专家都来自同一个预训练基座,且分词器词表大小和隐藏层维度完全一致;
- 选定合并配方:双强融合优先选 SLERP(并可对不同层设渐变插值曲线);3 个以上多领域专家优先选 DARE-TIES;跨界差异极大且能承受更大显存时选 Sparse Upcycling 升格为 MoE;
- 逐张量离线运算:脚本按层读取权重切片并执行球面插值或符号选举,全程无需 GPU 反向传播,7B/8B 模型通常 2~5 分钟即可写盘;
- 验证与轻量疗伤:在各领域基准上快速跑一遍体检,若发现细微格式漂移,用极小学习率补 200~500 步混合微调即可彻底磨合。
模型合并已经成为开源社区与大厂后训练流水线里不可或缺的“低成本超级黏合剂”:
- 上游承接 SFT、LoRA 与 DPO:工业界训练大模型时,往往把数学、代码、多语言和偏好对齐拆给不同团队并行微调,最后直接用 Model Soups / TIES / DARE 在几分钟内合并成统一候选版本(Llama 3、Qwen 等前沿系列的后训练周期中均广泛使用了多检查点权重平均与合并技术);
- 与 PEFT 高效微调家族 天生绝配:多个 LoRA 适配器本质上就是低秩压缩后的任务向量,天然支持按需加权热融合,甚至可以在服务期针对不同租户动态拼装技能组合;
- 跨界打通 MoE 架构 与进化搜索:既能通过 Evolutionary Merge 自动发现意想不到的跨领域(甚至跨语种)层拼接配方,也能靠 Sparse Upcycling 把多个稠密模型低成本升级为超大容量的稀疏 MoE 架构,与昂贵的知识蒸馏形成极佳互补。
05 演化对比与避坑备忘
| 方法 | 一句话秘诀 | 适用模型数量 | 是否需要同源基座 |
|---|---|---|---|
| Model Soups | 同盆地直接算术平均,越泡越稳 | 多个 | 必须同源 |
| SLERP | 贴着高维超球面滑行,保模长不缩水 | 仅 2 个 | 必须同源 |
| Task Arithmetic | 减去基座提增量,技能直接做加减法 | 多个 | 必须同源(显式需 |
| TIES / DARE | 先大幅稀疏防撞车,再投票消符号内耗 | 多个(3~8 个极佳) | 必须同源(显式需 |
| Sparse Upcycling | 共享注意力、各自保留独立 FFN 升 MoE | 多个 | 建议同源架构 |
动手用 MergeKit 或自写脚本合并模型时,四个实战避坑点千万别踩:
- 绝不能跨“异源基座”强行合并:比如把 Llama-3 和 Mistral 硬平均——哪怕维度碰巧一样,内部神经元排列顺序完全风马牛不相及,合并出来一定是 100% 乱码。
- 不要对“经过海量继续预训练”的模型乱开 90% DARE:DARE 只在“离基座不太远的微调增量”上神效;如果某个专家已经砸了几千亿词元深度重构了底层权重,90% 随机清空会瞬间把模型打废,此时应降低丢弃率或改用 SLERP。
- 合并后顺手做一轮极短“疗伤微调(Healing)”效果翻倍:免训练合并就像骨科接骨,哪怕接得再准也会有一丝细微接缝;用极小学习率跑几百步混合微调(不到完整训练 1% 的算力),就能彻底磨平参数摩擦,让融合后的综合实力经常反超每一个单项冠军!
- 别忘了检查聊天模板与特殊词元对齐:即便共享基座,不同微调团队有时会修改系统提示词或新增特殊词元嵌入;合并前务必先统一分词器与嵌入层词表索引,避免输出乱码或停不下来。
想查阅 SLERP 测地线推导、TIES/DARE 符号消解数学定义、Dense-to-MoE 架构转换图,以及可直接运行的 PyTorch SLERP / DARE / TIES-Merging 完整源码?按快捷键
M或点击顶部技术 Wiki随时切换。
模型合并(Model Merging) 是指在不重新训练、甚至不需要任何原始训练数据的前提下,将多个衍生自同一预训练基座(或同构架构)的专精模型权重直接于参数空间融合为单个全能模型的技术体系。相比多任务联合微调或多模型集成(Ensemble)带来的成倍算力与推理显存开销,模型合并可在数分钟内完成数学、代码、多语言与安全对齐等能力的“零训练拼装”,并进一步演化出将多个稠密专家直接装配为混合专家(MoE)架构的 Sparse Upcycling / FrankenMoE 范式。
直观理解
传统多任务训练像是把一位数学老师、一位编程老师和一位外语老师关进同一间教室,从头联合编写一本教材再教给学生(极其昂贵且容易顾此失彼);模型集成则是把三位老师同时请到考场一起答卷(显存和延迟直接翻三倍)。而 模型合并 则是 “提取增量记忆晶片直接插槽融合”:因为三位老师都毕业于同一所大学(共享预训练基座
起源背景与演进脉络
在深度学习早期,由于神经网络存在严重的置换对称性,两个独立随机初始化的同构网络直接平均权重通常会导致性能瞬间崩塌。然而,面向预训练大模型微调的几何特性彻底改变了这一局面:
- 线性模式连通性(LMC)与 Model Soups(2022):Wortsman 等人(2022 ↗)在 Model Soups 中证明,从同一个预训练基座出发、采用不同超参或数据增广微调出的多个模型,往往落在损失景观中的同一个低损连通盆地(Linear Mode Connectivity) 内——直接对其权重做算术平均不仅不会崩塌,反而能显著提升泛化精度与分布外鲁棒性。
- SLERP 与 Task Arithmetic(2022–2023):针对高维权重向量直接线性插值造成的模长缩水问题,社区引入源自图形学的 SLERP(球面线性插值);Ilharco 等人(2022 ↗)则提出 Task Arithmetic(任务算术),正式定义“任务向量
”,揭示了任务能力支持加法组合、减法遗忘(如安全去毒)与类比迁移的惊人线性代数规律。 - 冲突消解与稀疏去噪:TIES-Merging & DARE(2023):直接相加多个任务向量时,不同任务在同一参数坐标上常出现幅值冗余干扰与正负符号冲突。TIES-Merging(Yadav et al., 2023 ↗)以“裁剪—选符号—不冲突平均”三步法系统消除符号内耗;DARE(Yu et al., 2023 ↗)则发现微调增量存在高达 90%–99% 的惊人冗余,只需像 Dropout 一样随机丢弃绝大部分增量并做逆概率重缩放,即可大幅降低多模型合并时的参数碰撞。
- 自动演化融合与 Dense-to-MoE 升级(2022–2024):Sakana AI 提出 Evolutionary Model Merge(Akiba et al., 2024 ↗),用进化算法自动搜索跨层拼接与参数空间融合配方(甚至跨语种组合出日语数学专家);Sparse Upcycling(Komatsuzaki et al., 2022 ↗)与开源工具 MergeKit(Goddard et al., 2024 ↗)进一步将多个稠密专家的 FFN 层 组装为稀疏 MoE 架构,突破了单稠密参数容量的物理极限。
核心原理与数学推导
1. Model Soups 与 SLERP(球面线性插值)
对于从同一基座微调得到的两个参数向量
SLERP(Spherical Linear Interpolation) 沿高维超球面的测地大圆弧进行匀速插值,严格保持插值路径上的范数几何特性。设两向量夹角
当
2. Task Arithmetic(任务向量算术)
设预训练基座权重为
多任务能力组合与特定能力遗忘(Unlearning)分别对应简单的向量线性算术:
其中标量系数
3. TIES-Merging(裁剪—选符号—不冲突合并)
Yadav 等人(2023 ↗)指出,朴素 Task Arithmetic 在合并
- Trim(幅值裁剪):对每个任务向量
,仅保留绝对值最大的前 (典型值 )元素,其余冗余微扰全部置零,得到稀疏向量 ; - Elect Sign(按总幅值选举主导符号):对每一个参数坐标
,分别累加所有模型在该位置上的正值总和与负值总和,选举总能量更大的一方作为该坐标的全局统一符号 :
- Disjoint Merge(仅对同号非零值求均值):在每个坐标
上,仅收集那些非零且与主导符号 一致的任务向量集合 ,剔除异号拉扯后计算无干扰均值,并叠回基座:
4. DARE(Drop And REscale):极端随机稀疏化消除碰撞
Yu 等人(2023 ↗)发现一个令人震惊的现象:对于经过 SFT 或 DPO 微调的 LLM,将任务向量
单模型性能几乎零衰减!而经过 DARE 随机稀疏化后,两个独立任务向量
5. Evolutionary Merge 与 Dense-to-MoE(Sparse Upcycling)
- Evolutionary Model Merge:将合并扩展到参数空间(PS)+ 数据流空间(DFS) 双重维度——使用 CMA-ES 等黑箱进化算法,自动优化每一层的融合系数与跨模型层拼接序列,甚至在不共享完全一致对齐方式的前提下演化出超强跨领域模型。
- Dense-to-MoE(Sparse Upcycling / Branch-Train-MiX):当合并的专家领域差异过大(如代码 + 生物医学 + 多语言),单个稠密参数空间已无法无损容纳全部知识。此时保留共享的自注意力层(做权重平均),并将
个专家的 FFN 权重直接并排装配为 MoE 层的 个独立专家,仅需初始化轻量化门控路由器并做少量校准(如 MergeKit 的 mergekit-moe),即可近乎零成本将多个 7B 稠密模型升级为稀疏混合专家模型。
模型合并架构与决策流图
图表加载中...
主流模型合并方法横向对比
| 合并方法 | 支持模型数 | 需要基座 | 冲突消解机制 | 输出架构与推理开销 | 最佳适用场景 |
|---|---|---|---|---|---|
| Model Soups (Linear) | 否 | 无(直接算术平均) | 稠密( | 同任务多超参/多检查点稳健平均 | |
| SLERP | 否 | 球面测地弧保模长 | 稠密( | 双强模型平滑融合(如推理 + 对话) | |
| Task Arithmetic | 是 | 无(线性叠加任务向量) | 稠密( | 能力加减法、轻量去毒与 LoRA 合并 | |
| TIES-Merging (2023 ↗) | 是 | 幅值裁剪 + 主导符号选举 | 稠密( | ||
| DARE-TIES (2023 ↗) | 是 | 随机稀疏去碰 + 符号选举 | 稠密( | SFT/DPO 微调模型的高保真多任务合成 | |
| Sparse Upcycling / FrankenMoE | 建议同源 | 专家物理隔离(无权重干扰) | 稀疏 MoE(显存增、算力近 | 跨异构领域能力扩容、突破单模型瓶颈 |
核心 PyTorch 参考实现:SLERP、DARE 与 TIES-Merging
以下可直接运行的 PyTorch 代码完整实现了 SLERP 球面插值、DARE 随机稀疏重缩放 与 TIES-Merging 三步冲突消解,可用于全量参数或 LoRA 增量权重融合:
python
import torch
from typing import List
def slerp_merge(w1: torch.Tensor, w2: torch.Tensor, t: float = 0.5, eps: float = 1e-6) -> torch.Tensor:
"""对两个同形状参数张量执行球面线性插值(SLERP)。"""
orig_shape = w1.shape
v1 = w1.reshape(-1).float()
v2 = w2.reshape(-1).float()
# 计算单位方向向量与夹角 Omega
n1 = v1 / v1.norm(p=2).clamp_min(eps)
n2 = v2 / v2.norm(p=2).clamp_min(eps)
dot = torch.clamp(torch.dot(n1, n2), -1.0, 1.0)
# 若两向量几乎共线,平滑退化为线性插值防止 sin(Omega) 除零
if dot.abs() > 0.9995:
merged = (1.0 - t) * v1 + t * v2
else:
omega = torch.acos(dot)
sin_omega = torch.sin(omega)
c1 = torch.sin((1.0 - t) * omega) / sin_omega
c2 = torch.sin(t * omega) / sin_omega
merged = c1 * v1 + c2 * v2
return merged.reshape(orig_shape).to(w1.dtype)
def dare_sparsify(task_vector: torch.Tensor, drop_rate: float = 0.8) -> torch.Tensor:
"""DARE(Drop And REscale):以概率 drop_rate 随机置零增量,并按 1/(1-p) 保持期望无偏。"""
if drop_rate <= 0.0:
return task_vector
keep_prob = 1.0 - drop_rate
mask = torch.bernoulli(torch.full_like(task_vector, keep_prob))
return (task_vector * mask) / keep_prob
def ties_merge(
base_weight: torch.Tensor,
expert_weights: List[torch.Tensor],
density: float = 0.2,
scale: float = 1.0,
dare_drop_rate: float = 0.0,
) -> torch.Tensor:
"""TIES-Merging(可选前置 DARE):Trim -> Elect Sign -> Disjoint Merge。"""
deltas = []
for w in expert_weights:
tv = (w - base_weight).float()
if dare_drop_rate > 0.0:
tv = dare_sparsify(tv, drop_rate=dare_drop_rate)
# Step 1: Trim —— 仅保留绝对值最大的 top-density 比例参数
flat_abs = tv.abs().reshape(-1)
k = max(1, int(flat_abs.numel() * density))
threshold = torch.topk(flat_abs, k, largest=True).values[-1]
trimmed = tv * (tv.abs() >= threshold)
deltas.append(trimmed)
stacked = torch.stack(deltas, dim=0) # [K, *shape]
# Step 2: Elect Sign —— 按各坐标总幅值和选举主导符号
elected_sign = torch.sign(stacked.sum(dim=0)) # [*shape]
# Step 3: Disjoint Merge —— 仅保留与主导符号一致且非零的增量并求平均
aligned_mask = (stacked != 0) & (torch.sign(stacked) == elected_sign.unsqueeze(0))
aligned_sum = (stacked * aligned_mask).sum(dim=0)
aligned_count = aligned_mask.sum(dim=0).clamp_min(1)
merged_delta = aligned_sum / aligned_count
return (base_weight.float() + scale * merged_delta).to(base_weight.dtype)工程实践与常见陷阱
陷阱一:跨异源基座强行合并导致“置换对称性灾难”
模型合并生效的根本前提是线性模式连通性(LMC),即所有参与合并的专家必须共享同一预训练基座(如均源自 Llama-3-8B 或 Qwen2.5-7B),且词表与隐藏维度严格对齐。若将两个从零独立预训练的模型直接平均,其隐藏层神经元排列完全错位,合并后困惑度会瞬间爆炸至随机乱码(除非先执行代价高昂的 Git Re-Basin 神经元置换对齐)。
陷阱二:高强度 DARE 应用于预训练权重剧烈漂移的模型
DARE 论文明确指出其适用前提是微调增量相对基座较小(即模型能力处于 SFT/DPO 局部微调盆地,单参数变化量级在
工业界黄金工作流:Merge 之后补一轮极短“疗伤微调(Healing)”
无论是 DARE-TIES 合并多领域模型,还是通过 Sparse Upcycling 拼装出全新 MoE 模型,免训练合并往往会带来轻微的格式漂移或路由失衡。在合并完成后,使用极小学习率(如原 SFT 学习率的
参考文献
- Wortsman, M., Ilharco, G., Gadre, S. Y., et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022. arXiv:2203.05482 ↗
- Ilharco, G., Ribeiro, M. T., Wortsman, M., et al. (2022). Editing Models with Task Arithmetic. ICLR 2023. arXiv:2212.04089 ↗
- Yadav, P., Tam, D., Choshen, L., Raffel, C., & Bansal, M. (2023). TIES-Merging: Resolving Interference When Merging Models. NeurIPS 2023. arXiv:2306.01708 ↗
- Yu, L., Yu, B., Yu, H., Huang, F., & Li, Y. (2023). Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch (DARE). ICML 2024. arXiv:2311.03099 ↗
- Akiba, T., Shing, M., Tang, Y., Sun, Q., & Ha, D. (2024). Evolutionary Optimization of Model Merging Recipes. Nature Machine Intelligence 2025. arXiv:2403.13187 ↗
- Komatsuzaki, A., Puigcerver, J., Lee-Thorp, J., et al. (2022). Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints. ICLR 2023. arXiv:2212.05055 ↗
- Goddard, C., Siriwardhana, S., Ehghaghi, M., et al. (2024). Arcee's MergeKit: A Toolkit for Merging Large Language Models. EMNLP 2024 Industry Track. arXiv:2403.13257 ↗