Skip to content

模型合并与免训练融合:SLERP、Task Arithmetic、TIES、DARE 与 Sparse Upcycling

无需重训与训练数据,在参数空间融合多领域微调专家:详解线性模式连通性、SLERP、TIES、DARE 与 MoE 升级。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是模型合并(Model Merging)?

假如你手上已经有一个擅长写代码的微调模型、一个擅长做数学的模型和一个擅长聊天的模型,难道必须把三份数据重新混在一起再花大钱重训一遍吗?

模型合并(Model Merging) 允许你不花一分训练算力,直接把多个同源微调模型的权重矩阵按几何或稀疏规则相加融合(如 SLERP、Task Arithmetic、TIES、DARE),就能拼出一个同时具备多项专长的全能模型;甚至还能把多个稠密微调模型直接组装成一个 MoE 模型(Upcycling)。

01 问题从何而来:手头有三个偏科专家模型,能不能“免训练”直接合体成全能王? ​

假设你的团队已经基于同一个开源基座,分别微调出了三个专精高手:

  • A 模型是奥数推理大神;
  • B 模型是顶尖代码工程师;
  • C 模型是情商极高的中文对话助手。

现在老板说:“我要一个既懂奥数、又会写代码、还情商高的全能模型!”传统做法只有两条苦路:要么把三份数据混在一起花巨资重新联合 SFT(还极易出现顾此失彼的跷跷板效应);要么部署时把三个模型全塞进显存同时推理(成本直接翻三倍)。

于是社区冒出一个听起来像科幻片的疯狂想法:既然这三个模型都脱胎于同一个基座,能不能不跑一行反向传播、不用一条训练数据,直接在 CPU 上把它们的权重文件像“调鸡尾酒”一样算术合并,五分钟炼出一个零额外推理开销的全能模型?

核心设问

直接把两个神经网络的权重取平均,为什么在早期深度学习里一合并就变智障,但在现代大模型微调里却能神奇奏效?当多个专家的权重在同一个参数位置上互相拉扯打架时,TIES、DARE 和 Sparse Upcycling 又是怎么化解冲突的?

02 核心直觉与生活类比 ​

要一口气吃透从 Model Soups、SLERP、Task Arithmetic 到 TIES / DARE 的全部脉络,看下面三个极接地气的画面就够了:

类比 · 类比一:为什么同源大模型可以“直接拼装大脑”?(线性模式连通性与任务向量)

如果把两个陌生人(从零独立预训练的模型)的记忆神经元硬平均,语言区和视觉区完全错位,结果只能是胡言乱语。但基于同一个基座微调出来的多个专家,就像是同卵三胞胎毕业后各自去进修了一门技能——他们大脑的基础坐标系完全对齐!

在数学上,这叫线性模式连通性(Linear Mode Connectivity):从同一个基座出发微调出的权重,全都落在损失山谷的同一个连通盆地里(Model Soups, 2022 ↗)。因此,只要拿专家权重减去基座权重 τk=θk−θbase,就能精准剥离出纯粹的 “技能增量包(Task Vector)”(Task Arithmetic, 2022 ↗)——加法就能技能合体,减法甚至能精准“遗忘”有害知识!

类比 · 类比二:为什么多模型直接相加会打架?——“拔河内耗”与 TIES / DARE 调解术

虽然同源可以合并,但一口气合并三五个专家时,直接相加经常把模型加傻,原因是两个隐形内耗:

  1. 符号拔河:在同一个参数旋钮上,数学专家想把它往左拧 -0.5,代码专家却想往右拧 +0.4,一平均变成 -0.05,两边本事全给抵消光了!
  2. 杂音淹没:其实 80%~95% 的微调变动都只是微不足道的毛刺噪声,几个专家的噪声叠在一起反而盖过了真正起作用的关键参数。

于是两把“神级调解斧”横空出世:

  • TIES-Merging(Yadav et al., 2023 ↗)祭出三步铁律:先裁剪(Trim) 扔掉 80% 的微弱杂音;再投票选符号(Elect Sign) 看这个旋钮上正派总力量大还是负派总力量大;最后只让同阵营的平均(Disjoint Merge),彻底消除拔河内耗!
  • DARE(Yu et al., 2023 ↗)发现了一个逆天现象:把微调增量里高达 90% 甚至 99% 的参数像抽奖一样随机清空归零,再把活下来的参数按比例放大(保持数学期望不变),单模型实力居然几乎毫无损失!而每个专家都只占 10% 的格子后,两个专家撞车打架的概率瞬间暴跌到 10%×10%=1%!
类比 · 类比三:实在塞不进同一个脑袋怎么办?——“合租办公室”(Dense-to-MoE)

如果你手头的专家跨界太大(比如一个是 Python 专家、一个是古汉语专家、一个是生信专家),硬塞进同一个稠密大脑总会相互挤压。Sparse Upcycling(Komatsuzaki et al., 2022 ↗)干脆换个思路:大家共用前台接待(把自注意力层取平均),但把各自的专家知识库(FFN 层)各自保留为独立隔间,门口加一个轻量化前台分流员(路由器),瞬间把 8 个 7B 稠密专家零重训拼装成一座宏伟的 8×7B 混合专家(MoE)大模型!

03 把关键公式读成人话 ​

当只有两个专家模型 θ1,θ2 合并时,开源社区最爱用源自 3D 动画的 SLERP(球面线性插值):

SLERP(θ1,θ2;t)=sin⁡((1−t)Ω)sin⁡Ωθ1+sin⁡(tΩ)sin⁡Ωθ2

**把公式读成直觉:**高维空间里的两个权重向量好比地球仪表面上的两个点(参见线性代数与张量基础)。如果你傻傻地做直线中点平均(LERP),直线会从地心内部穿过去,导致合并后的向量长度大幅缩水(缩到原来的 0.7 倍),破坏整层神经网络的信号强度;而 SLERP 是贴着地球表面沿大圆弧走航线,既平滑融合了两种能力,又死死保住了权重向量的几何模长!

而在多专家融合中,DARE + TIES 的核心组合美得像一行极简诗:

τ~k=mk⊙(θk−θbase)1−p,γp=sgn(∑kτ^k,p),θnew=θbase+λ⋅meank:sgn=γp(τ^k,p)

把公式读成直觉:- 第一步 DARE:抽出技能增量 θk−θbase,拿伯努利随机掩码 mk 扔掉 p=80%--90% 的坐标,幸存者除以 (1−p) 保住总能量期望不掉;

  • 第二步 TIES 选边站队:保留前 k% 强信号后,按总票数选出每个参数位的主导方向 γp,只对“站队一致且发声了”的专家求均值,最后加回基座大脑 θbase。
  • 实际工程里甚至可以逐层设置不同融合曲线(如底层偏向语言基座、高层偏向推理专家),或者交给 Evolutionary Merge(Akiba et al., 2024 ↗)的进化算法自动搜索最佳配方!

04 它在模型里怎么工作 & 与上下游的关系 ​

如果你想亲手把两个或多个同源专家合体,用开源神器 MergeKit(Goddard et al., 2024 ↗)在普通 CPU 机器上只需四步就能出锅:

  1. 确认血缘一致:核对所有待合并专家都来自同一个预训练基座,且分词器词表大小和隐藏层维度完全一致;
  2. 选定合并配方:双强融合优先选 SLERP(并可对不同层设渐变插值曲线);3 个以上多领域专家优先选 DARE-TIES;跨界差异极大且能承受更大显存时选 Sparse Upcycling 升格为 MoE;
  3. 逐张量离线运算:脚本按层读取权重切片并执行球面插值或符号选举,全程无需 GPU 反向传播,7B/8B 模型通常 2~5 分钟即可写盘;
  4. 验证与轻量疗伤:在各领域基准上快速跑一遍体检,若发现细微格式漂移,用极小学习率补 200~500 步混合微调即可彻底磨合。

模型合并已经成为开源社区与大厂后训练流水线里不可或缺的“低成本超级黏合剂”:

  • 上游承接 SFT、LoRA 与 DPO:工业界训练大模型时,往往把数学、代码、多语言和偏好对齐拆给不同团队并行微调,最后直接用 Model Soups / TIES / DARE 在几分钟内合并成统一候选版本(Llama 3、Qwen 等前沿系列的后训练周期中均广泛使用了多检查点权重平均与合并技术);
  • 与 PEFT 高效微调家族 天生绝配:多个 LoRA 适配器本质上就是低秩压缩后的任务向量,天然支持按需加权热融合,甚至可以在服务期针对不同租户动态拼装技能组合;
  • 跨界打通 MoE 架构 与进化搜索:既能通过 Evolutionary Merge 自动发现意想不到的跨领域(甚至跨语种)层拼接配方,也能靠 Sparse Upcycling 把多个稠密模型低成本升级为超大容量的稀疏 MoE 架构,与昂贵的知识蒸馏形成极佳互补。

05 演化对比与避坑备忘 ​

方法一句话秘诀适用模型数量是否需要同源基座
Model Soups同盆地直接算术平均,越泡越稳多个必须同源
SLERP贴着高维超球面滑行,保模长不缩水仅 2 个必须同源
Task Arithmetic减去基座提增量,技能直接做加减法多个必须同源(显式需 θbase)
TIES / DARE先大幅稀疏防撞车,再投票消符号内耗多个(3~8 个极佳)必须同源(显式需 θbase)
Sparse Upcycling共享注意力、各自保留独立 FFN 升 MoE多个建议同源架构

动手用 MergeKit 或自写脚本合并模型时,四个实战避坑点千万别踩:

  1. 绝不能跨“异源基座”强行合并:比如把 Llama-3 和 Mistral 硬平均——哪怕维度碰巧一样,内部神经元排列顺序完全风马牛不相及,合并出来一定是 100% 乱码。
  2. 不要对“经过海量继续预训练”的模型乱开 90% DARE:DARE 只在“离基座不太远的微调增量”上神效;如果某个专家已经砸了几千亿词元深度重构了底层权重,90% 随机清空会瞬间把模型打废,此时应降低丢弃率或改用 SLERP。
  3. 合并后顺手做一轮极短“疗伤微调(Healing)”效果翻倍:免训练合并就像骨科接骨,哪怕接得再准也会有一丝细微接缝;用极小学习率跑几百步混合微调(不到完整训练 1% 的算力),就能彻底磨平参数摩擦,让融合后的综合实力经常反超每一个单项冠军!
  4. 别忘了检查聊天模板与特殊词元对齐:即便共享基座,不同微调团队有时会修改系统提示词或新增特殊词元嵌入;合并前务必先统一分词器与嵌入层词表索引,避免输出乱码或停不下来。

想查阅 SLERP 测地线推导、TIES/DARE 符号消解数学定义、Dense-to-MoE 架构转换图,以及可直接运行的 PyTorch SLERP / DARE / TIES-Merging 完整源码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

模型合并(Model Merging) 是指在不重新训练、甚至不需要任何原始训练数据的前提下,将多个衍生自同一预训练基座(或同构架构)的专精模型权重直接于参数空间融合为单个全能模型的技术体系。相比多任务联合微调或多模型集成(Ensemble)带来的成倍算力与推理显存开销,模型合并可在数分钟内完成数学、代码、多语言与安全对齐等能力的“零训练拼装”,并进一步演化出将多个稠密专家直接装配为混合专家(MoE)架构的 Sparse Upcycling / FrankenMoE 范式。

直观理解

传统多任务训练像是把一位数学老师、一位编程老师和一位外语老师关进同一间教室,从头联合编写一本教材再教给学生(极其昂贵且容易顾此失彼);模型集成则是把三位老师同时请到考场一起答卷(显存和延迟直接翻三倍)。而 模型合并 则是 “提取增量记忆晶片直接插槽融合”:因为三位老师都毕业于同一所大学(共享预训练基座 θbase),我们只需把各自毕业后单独学到的“增量技能向量(Task Vector)”提取出来,去掉互相打架的符号冲突和冗余噪声,直接叠加回原大脑,就能零推理增量地炼成一位全能通才!

起源背景与演进脉络 ​

在深度学习早期,由于神经网络存在严重的置换对称性,两个独立随机初始化的同构网络直接平均权重通常会导致性能瞬间崩塌。然而,面向预训练大模型微调的几何特性彻底改变了这一局面:

  1. 线性模式连通性(LMC)与 Model Soups(2022):Wortsman 等人(2022 ↗)在 Model Soups 中证明,从同一个预训练基座出发、采用不同超参或数据增广微调出的多个模型,往往落在损失景观中的同一个低损连通盆地(Linear Mode Connectivity) 内——直接对其权重做算术平均不仅不会崩塌,反而能显著提升泛化精度与分布外鲁棒性。
  2. SLERP 与 Task Arithmetic(2022–2023):针对高维权重向量直接线性插值造成的模长缩水问题,社区引入源自图形学的 SLERP(球面线性插值);Ilharco 等人(2022 ↗)则提出 Task Arithmetic(任务算术),正式定义“任务向量 τk=θk−θbase”,揭示了任务能力支持加法组合、减法遗忘(如安全去毒)与类比迁移的惊人线性代数规律。
  3. 冲突消解与稀疏去噪:TIES-Merging & DARE(2023):直接相加多个任务向量时,不同任务在同一参数坐标上常出现幅值冗余干扰与正负符号冲突。TIES-Merging(Yadav et al., 2023 ↗)以“裁剪—选符号—不冲突平均”三步法系统消除符号内耗;DARE(Yu et al., 2023 ↗)则发现微调增量存在高达 90%–99% 的惊人冗余,只需像 Dropout 一样随机丢弃绝大部分增量并做逆概率重缩放,即可大幅降低多模型合并时的参数碰撞。
  4. 自动演化融合与 Dense-to-MoE 升级(2022–2024):Sakana AI 提出 Evolutionary Model Merge(Akiba et al., 2024 ↗),用进化算法自动搜索跨层拼接与参数空间融合配方(甚至跨语种组合出日语数学专家);Sparse Upcycling(Komatsuzaki et al., 2022 ↗)与开源工具 MergeKit(Goddard et al., 2024 ↗)进一步将多个稠密专家的 FFN 层 组装为稀疏 MoE 架构,突破了单稠密参数容量的物理极限。

核心原理与数学推导 ​

1. Model Soups 与 SLERP(球面线性插值) ​

对于从同一基座微调得到的两个参数向量 θ1,θ2∈Rd,最朴素的线性插值(LERP)为 θlerp=(1−t)θ1+tθ2。但在高维空间中(参见线性代数与张量基础),两个近似正交的高维向量线性平均会导致欧氏范数显著萎缩(如 t=0.5 时模长缩至 22≈0.707),破坏层归一化与激活尺度。

SLERP(Spherical Linear Interpolation) 沿高维超球面的测地大圆弧进行匀速插值,严格保持插值路径上的范数几何特性。设两向量夹角 Ω=arccos(⟨θ1,θ2⟩∥θ1∥2∥θ2∥2),则插值公式为:

SLERP(θ1,θ2;t)=sin⁡((1−t)Ω)sin⁡Ωθ1+sin⁡(tΩ)sin⁡Ωθ2,t∈[0,1]

当 Ω→0(两向量几乎共线)时,sin⁡(tΩ)sin⁡Ω→t,SLERP 自动平滑退化为普通线性插值。在开源社区(如 MergeKit)中,常对 Attention 与 MLP 不同层采用渐变曲线 tℓ(例如 U 型或梯形分布),兼顾底层通用表征与高层专精逻辑。

2. Task Arithmetic(任务向量算术) ​

设预训练基座权重为 θbase,在第 k 个下游任务上微调后的权重为 θk,定义其任务向量(Task Vector) 为微调增量:

τk=θk−θbase

多任务能力组合与特定能力遗忘(Unlearning)分别对应简单的向量线性算术:

θmulti=θbase+∑k=1Kλkτk,θunlearn=θbase−λbadτbad

其中标量系数 λk>0 控制各任务权重贡献。这一简洁公式同样直接适用于 LoRA 低秩增量 ΔWk=BkAk。

3. TIES-Merging(裁剪—选符号—不冲突合并) ​

Yadav 等人(2023 ↗)指出,朴素 Task Arithmetic 在合并 K≥3 个模型时性能急剧下降,源于两大干扰:(1)大量接近零的冗余微调噪声互相淹没;(2)同一参数坐标 p 上,模型 A 试图往正方向推、模型 B 试图往负方向拉,直接平均导致相互抵消。TIES-Merging 通过严格的三步管线彻底消解干扰:

  1. Trim(幅值裁剪):对每个任务向量 τk,仅保留绝对值最大的前 k%(典型值 20%)元素,其余冗余微扰全部置零,得到稀疏向量 τ^k;
  2. Elect Sign(按总幅值选举主导符号):对每一个参数坐标 p,分别累加所有模型在该位置上的正值总和与负值总和,选举总能量更大的一方作为该坐标的全局统一符号 γp∈{−1,+1}:
γp=sgn(∑k=1Kτ^k,p)
  1. Disjoint Merge(仅对同号非零值求均值):在每个坐标 p 上,仅收集那些非零且与主导符号 γp 一致的任务向量集合 Ap={k∣τ^k,p≠0 且 sgn(τ^k,p)=γp},剔除异号拉扯后计算无干扰均值,并叠回基座:
τpTIES=1|Ap|∑k∈Apτ^k,p,θmerged=θbase+λτTIES

4. DARE(Drop And REscale):极端随机稀疏化消除碰撞 ​

Yu 等人(2023 ↗)发现一个令人震惊的现象:对于经过 SFT 或 DPO 微调的 LLM,将任务向量 τk=θk−θbase 中高达 p=90%∼99% 的参数随机置零,再将幸存参数除以 (1−p) 以保持期望不变:

mk,j∼Bernoulli(1−p),τ~k=mk⊙τk1−p

单模型性能几乎零衰减!而经过 DARE 随机稀疏化后,两个独立任务向量 τ~1,τ~2 在同一坐标同时非零的概率暴降至 (1−p)2(例如 p=0.9 时碰撞率仅 1%),因此 DARE 既可单独配合 Task Arithmetic 使用,也常作为前置去噪器与 TIES 串联为工业界最常用的 DARE-TIES 配方。

5. Evolutionary Merge 与 Dense-to-MoE(Sparse Upcycling) ​

  • Evolutionary Model Merge:将合并扩展到参数空间(PS)+ 数据流空间(DFS) 双重维度——使用 CMA-ES 等黑箱进化算法,自动优化每一层的融合系数与跨模型层拼接序列,甚至在不共享完全一致对齐方式的前提下演化出超强跨领域模型。
  • Dense-to-MoE(Sparse Upcycling / Branch-Train-MiX):当合并的专家领域差异过大(如代码 + 生物医学 + 多语言),单个稠密参数空间已无法无损容纳全部知识。此时保留共享的自注意力层(做权重平均),并将 N 个专家的 FFN 权重直接并排装配为 MoE 层的 N 个独立专家,仅需初始化轻量化门控路由器并做少量校准(如 MergeKit 的 mergekit-moe),即可近乎零成本将多个 7B 稠密模型升级为 8×7B 稀疏混合专家模型。

模型合并架构与决策流图 ​

图表加载中...

主流模型合并方法横向对比 ​

合并方法支持模型数需要基座 θbase冲突消解机制输出架构与推理开销最佳适用场景
Model Soups (Linear)K≥2否无(直接算术平均)稠密(1× 开销)同任务多超参/多检查点稳健平均
SLERPK=2否球面测地弧保模长稠密(1× 开销)双强模型平滑融合(如推理 + 对话)
Task ArithmeticK≥2是无(线性叠加任务向量)稠密(1× 开销)能力加减法、轻量去毒与 LoRA 合并
TIES-Merging (2023 ↗)K≥2是幅值裁剪 + 主导符号选举稠密(1× 开销)3--8 个多领域专家无冲突融合
DARE-TIES (2023 ↗)K≥2是随机稀疏去碰 + 符号选举稠密(1× 开销)SFT/DPO 微调模型的高保真多任务合成
Sparse Upcycling / FrankenMoEK≥2建议同源专家物理隔离(无权重干扰)稀疏 MoE(显存增、算力近 1×)跨异构领域能力扩容、突破单模型瓶颈

核心 PyTorch 参考实现:SLERP、DARE 与 TIES-Merging ​

以下可直接运行的 PyTorch 代码完整实现了 SLERP 球面插值、DARE 随机稀疏重缩放 与 TIES-Merging 三步冲突消解,可用于全量参数或 LoRA 增量权重融合:

python
import torch
from typing import List


def slerp_merge(w1: torch.Tensor, w2: torch.Tensor, t: float = 0.5, eps: float = 1e-6) -> torch.Tensor:
    """对两个同形状参数张量执行球面线性插值(SLERP)。"""
    orig_shape = w1.shape
    v1 = w1.reshape(-1).float()
    v2 = w2.reshape(-1).float()

    # 计算单位方向向量与夹角 Omega
    n1 = v1 / v1.norm(p=2).clamp_min(eps)
    n2 = v2 / v2.norm(p=2).clamp_min(eps)
    dot = torch.clamp(torch.dot(n1, n2), -1.0, 1.0)

    # 若两向量几乎共线,平滑退化为线性插值防止 sin(Omega) 除零
    if dot.abs() > 0.9995:
        merged = (1.0 - t) * v1 + t * v2
    else:
        omega = torch.acos(dot)
        sin_omega = torch.sin(omega)
        c1 = torch.sin((1.0 - t) * omega) / sin_omega
        c2 = torch.sin(t * omega) / sin_omega
        merged = c1 * v1 + c2 * v2

    return merged.reshape(orig_shape).to(w1.dtype)


def dare_sparsify(task_vector: torch.Tensor, drop_rate: float = 0.8) -> torch.Tensor:
    """DARE(Drop And REscale):以概率 drop_rate 随机置零增量,并按 1/(1-p) 保持期望无偏。"""
    if drop_rate <= 0.0:
        return task_vector
    keep_prob = 1.0 - drop_rate
    mask = torch.bernoulli(torch.full_like(task_vector, keep_prob))
    return (task_vector * mask) / keep_prob


def ties_merge(
    base_weight: torch.Tensor,
    expert_weights: List[torch.Tensor],
    density: float = 0.2,
    scale: float = 1.0,
    dare_drop_rate: float = 0.0,
) -> torch.Tensor:
    """TIES-Merging(可选前置 DARE):Trim -> Elect Sign -> Disjoint Merge。"""
    deltas = []
    for w in expert_weights:
        tv = (w - base_weight).float()
        if dare_drop_rate > 0.0:
            tv = dare_sparsify(tv, drop_rate=dare_drop_rate)

        # Step 1: Trim —— 仅保留绝对值最大的 top-density 比例参数
        flat_abs = tv.abs().reshape(-1)
        k = max(1, int(flat_abs.numel() * density))
        threshold = torch.topk(flat_abs, k, largest=True).values[-1]
        trimmed = tv * (tv.abs() >= threshold)
        deltas.append(trimmed)

    stacked = torch.stack(deltas, dim=0)  # [K, *shape]

    # Step 2: Elect Sign —— 按各坐标总幅值和选举主导符号
    elected_sign = torch.sign(stacked.sum(dim=0))  # [*shape]

    # Step 3: Disjoint Merge —— 仅保留与主导符号一致且非零的增量并求平均
    aligned_mask = (stacked != 0) & (torch.sign(stacked) == elected_sign.unsqueeze(0))
    aligned_sum = (stacked * aligned_mask).sum(dim=0)
    aligned_count = aligned_mask.sum(dim=0).clamp_min(1)
    merged_delta = aligned_sum / aligned_count

    return (base_weight.float() + scale * merged_delta).to(base_weight.dtype)

工程实践与常见陷阱 ​

陷阱一:跨异源基座强行合并导致“置换对称性灾难”

模型合并生效的根本前提是线性模式连通性(LMC),即所有参与合并的专家必须共享同一预训练基座(如均源自 Llama-3-8B 或 Qwen2.5-7B),且词表与隐藏维度严格对齐。若将两个从零独立预训练的模型直接平均,其隐藏层神经元排列完全错位,合并后困惑度会瞬间爆炸至随机乱码(除非先执行代价高昂的 Git Re-Basin 神经元置换对齐)。

陷阱二:高强度 DARE 应用于预训练权重剧烈漂移的模型

DARE 论文明确指出其适用前提是微调增量相对基座较小(即模型能力处于 SFT/DPO 局部微调盆地,单参数变化量级在 10−3--10−2)。如果某个专家经历了数千亿词元的持续预训练(Continual Pretraining)导致权重远离基座,此时强行设置 p=0.9 的 DARE 丢弃率会直接摧毁语言连贯性——此时应改用低裁剪率(如 p≤0.3)或纯 SLERP / Sparse Upcycling。

工业界黄金工作流:Merge 之后补一轮极短“疗伤微调(Healing)”

无论是 DARE-TIES 合并多领域模型,还是通过 Sparse Upcycling 拼装出全新 MoE 模型,免训练合并往往会带来轻微的格式漂移或路由失衡。在合并完成后,使用极小学习率(如原 SFT 学习率的 1/10)混合各领域少量代表性样本做几百步 Healing SFT / 路由校准,通常只需消耗不到完整训练 1% 的算力,即可抚平残余参数摩擦,释放出超越单专家简单叠加的涌现红利!

参考文献 ​

  1. Wortsman, M., Ilharco, G., Gadre, S. Y., et al. (2022). Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. ICML 2022. arXiv:2203.05482 ↗
  2. Ilharco, G., Ribeiro, M. T., Wortsman, M., et al. (2022). Editing Models with Task Arithmetic. ICLR 2023. arXiv:2212.04089 ↗
  3. Yadav, P., Tam, D., Choshen, L., Raffel, C., & Bansal, M. (2023). TIES-Merging: Resolving Interference When Merging Models. NeurIPS 2023. arXiv:2306.01708 ↗
  4. Yu, L., Yu, B., Yu, H., Huang, F., & Li, Y. (2023). Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch (DARE). ICML 2024. arXiv:2311.03099 ↗
  5. Akiba, T., Shing, M., Tang, Y., Sun, Q., & Ha, D. (2024). Evolutionary Optimization of Model Merging Recipes. Nature Machine Intelligence 2025. arXiv:2403.13187 ↗
  6. Komatsuzaki, A., Puigcerver, J., Lee-Thorp, J., et al. (2022). Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints. ICLR 2023. arXiv:2212.05055 ↗
  7. Goddard, C., Siriwardhana, S., Ehghaghi, M., et al. (2024). Arcee's MergeKit: A Toolkit for Merging Large Language Models. EMNLP 2024 Industry Track. arXiv:2403.13257 ↗