Skip to content

大模型评测体系与安全对齐 (Evaluation & Safety)

构建大模型科学评测与安全防线,涵盖核心基准、Bradley-Terry 竞技场统计、数据污染检测、越狱攻击与安全对齐。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是大模型评测体系与安全对齐?

模型越做越强,怎么客观判断它究竟是真聪明还是“背了题库”?大模型评测体系 通过分层基准测试(知识、数学、代码、真实工程 SWE-bench)与匿名盲测擂台(Chatbot Arena Elo 评分)量化能力,并配合数据污染检测防范刷榜。

安全对齐(Safety & Red-Teaming) 则是给强能力装上“刹车与护栏”:主动用红队越狱攻击(提示注入、GCG 对抗后缀)测试弱点,再通过 Constitutional AI、Safe RLHF 与输入输出护栏分类器守住安全底线。

01 为什么要发明它:分数造假与“失控跑车”的双重危机 ​

大模型发版前,团队最怕听到两句噩耗:一句是“跑分榜世界第一,用户上手却觉得笨死了”;另一句是“上线两小时,就被网友用三行咒语套出了违禁教程”。

这背后藏着大模型工程里最难缠的两场持久战:

  • 评测失真与数据污染:静态选择题库(如早期 MMLU、GSM8K)一公开到互联网上,很快就被爬虫无意甚至刻意吸进了预训练语料里。模型考出 95 分,根本分不清它是真学会了推理,还是提前背下了原题答案。
  • 有用与安全的跷跷板:模型能力越强、接的外部工具越多,一旦被对抗越狱攻破,破坏力就越大;可如果安全防线一刀切拉得太紧,又会出现滑稽的“过度拒绝(Over-refusal)”——连程序员问“怎么在 Linux 里 kill 掉僵尸进程”,它都要义正词严地给你上一堂珍爱生命课。
类比 · 泄题的高考 & 跑车的防抱死刹车

给大模型做评测就像组织高考:光靠一套传了五年的模拟卷根本测不出真才实学,必须既有防泄题的新鲜实操考场(如 SWE-bench 真实修 Bug),又有盲评擂台赛(Chatbot Arena)。

而安全对齐则像给百公里加速 2 秒的超级跑车装上防抱死刹车(ABS)与防撞气囊——平时正常踩油门绝不乱刹(不误拒),真撞上恶意攻击也能稳稳护住底线。

核心设问

怎样像做精密科学实验一样,剥离背题水分和排版滤镜,量出模型的真实智商?又怎样构筑一道多层次安全纵深防线,抵御梯度越狱与间接提示注入?

02 核心直觉:科学评测“三面镜子”与安全防御“三道墙” ​

想看清一个大模型的真实成色,必须同时照三面镜子,再筑三道墙:

第一面镜子:抗污染动态基准(照出硬实力) ​

老基准一两年就饱和,如今前沿评测全面转向更抗刷榜的体系:MMLU-Pro(arXiv:2406.01574 ↗)把 4 选 1 扩到 10 选 1 杜绝瞎蒙;LiveCodeBench 按竞赛发布时间戳持续滚动上新题,让旧模型绝对没背过;SWE-bench(arXiv:2310.06770 ↗)把真实 GitHub 仓库搬进 Docker 跑完整单元测试。

为了专门抓“背题党”,Min-K% Prob(arXiv:2310.16789 ↗)提出了一招极妙的测谎术:陌生文章里总会冒出几个意想不到的生僻词,模型读到它们时预测概率极低;如果一段文字里最生僻的 20% 词元模型都猜得极准,十有八九早就背过原文。

第二面镜子:双盲众包竞技场(照出真实体感) ​

写文章好不好、聊天自然不自然没有唯一标准答案。Chatbot Arena(arXiv:2403.04132 ↗)让全球真实用户同时向两个匿名模型提问并盲投赢家,再用与顺序无关的 Bradley-Terry 统计模型 算出全局稳健 Elo 榜单,并加入风格控制回归,剥离人类偏爱“长篇大论 + 精美 Markdown 排版”的视觉滤镜。

第三步:用“三道墙”对抗越狱与提示注入 ​

攻击者手里握着两把利器:一是自动化梯度越狱 GCG(arXiv:2307.15043 ↗),在有害指令末尾搜出一串人类看不懂的对抗乱码后缀,强行逼模型以 "Sure, here is..." 开口;二是间接提示注入,趁模型总结网页或邮件时,在正文中藏进篡改控制流的恶意指令。单一防线必破,工业界标配三道墙:

  1. 模型内化价值观:用 Constitutional AI(宪法 AI)(arXiv:2212.08073 ↗)让 AI 对照书面准则自我批评修订,或用 Safe RLHF(arXiv:2310.12773 ↗)把“有用”和“无害”拆成两个打分员动态博弈;
  2. 输入输出护栏分类器:在主模型前后串联轻量专用审核模型(如 Llama Guard),毫秒级拦截越狱、隐私泄露与高危输出;
  3. 系统权限与指令层级隔离:明确划分“系统指令 > 用户指令 > 不可信外部数据”的权限边界,所有写操作关进沙盒。
类比 · 银行金库的纵深防御

没有任何一家银行只靠保安背员工守则来防抢劫。大模型安全同理:

模型对齐(CAI / Safe RLHF) 是员工内化的职业操守,外部护栏分类器 是门口实时扫描的安检门,沙盒与最小权限 则是最后那扇定时锁死的防爆金库门——哪怕前两道被新型越狱骗术绕过,第三道依然能锁死损失上限。

03 把关键公式读成人话 ​

先看 Chatbot Arena 用来给全球大模型排座次的 Bradley-Terry 胜率模型:

P(i≻j)=11+exp(−(βi−βj)),Ratingi=1000+400ln⁡10β^i

把公式读成直觉:- 每个模型 i 背后都藏着一个真实的“内力值” βi。模型 i 击败模型 j 的概率,完全取决于两人的内力差 βi−βj:内力相等时胜率正好 50%,差距越大胜率越趋近 100%。

  • 传统象棋 Elo 边打边改分,先打弱鸡再打高手和反过来顺序算出的分不一样;Bradley-Terry 把几十万条对战记录一次性打包做凸优化极大似然求解,结果彻底与对战顺序无关,最后按国际象棋习惯线性换算成 1000 分起步的 Elo 榜单(每差 400 分对应约 10:1 的悬殊胜率)。

再看 Safe RLHF 用来平衡“听话有用”与“严守安全”的 拉格朗日约束优化目标:

maxπθminλ≥0Ex,y∼πθ[Rϕ(x,y)−λ(Cψ(x,y)−d)]−βDKL(πθ∥πref)

把公式读成直觉:- Rϕ 是夸模型“回答有没有帮助”的有用性奖励,Cψ 是抓模型“回答有没有风险”的风险代价,d 是允许的安全红线阈值。

  • 乘子 λ≥0 就像一位自动调节严厉程度的班主任:只要模型最近越线了(Cψ>d),λ 自动飙升,把违规惩罚加到极重;一旦模型守规矩了(Cψ≤d),λ 自动回落,放手让模型全力提升有用性,避免变成“什么都拒答”的木头人。

04 它在模型里怎么工作 & 与上下游的关系 ​

评测与安全不是项目收尾才补的一页 PPT,而是贯穿全生命周期的“仪表盘与刹车片”:

05 演化对比与避坑备忘 ​

评测 / 防御手段核心解决什么问题抗污染 / 抗绕过最大盲区
静态基准 (MMLU-Pro) (arXiv ↗)秒级量化客观知识推理较弱(随时间泄漏)测不出真实多轮对话体感
动态实操 (SWE-bench) (arXiv ↗)考验真实工程与防背题极强(沙盒实时跑单测)搭建重、单次评测极烧钱
Chatbot Arena (BT) (arXiv ↗)开放式主观体验排座次强(真实长尾用户提问)易受回答长度与排版讨喜影响
CAI / Safe RLHF (arXiv ↗)从权重内部内化安全边界中强(仍有新型越狱)调不好容易“过度拒绝”正常提问
外部护栏 (Llama Guard)毫秒级硬拦截与规则热更强(可独立随时升级)多轮隐晦铺垫或编码绕过易漏报

三个最容易踩的实战坑:

  1. 用 LLM-as-a-Judge 自动化打分忘了“互换位置”:大模型当裁判有严重的“位置偏置”(天生偏爱排在前面的回答 A)和“自恋偏置”(偏爱自己生成的文风)。做 Pairwise 盲测时务必执行双交换协议——把 (A, B) 和 (B, A) 各评一遍,两次结果一致才算赢,翻转就判平局。
  2. 只盯越狱拦截率,忘了盯“误拒率”:任何把所有请求统统回复“抱歉我不能回答”的模型,在安全集上都能拿 100 分!每次迭代安全对齐,都必须把有害测试集(如 HarmBench)和良性边界集(如 XSTest,专考“怎么杀死僵尸进程”这类含敏感词的正常问题)放在同一张看板上双指标验收。
  3. 只防纯文本越狱,漏掉“图片藏字”跨模态绕过:纯文本对齐得固若金汤的 VLM,经常一见图就破防——攻击者只需把违禁指令截成一张白底黑字的图片发过去,配一句无害的“请照着图里的步骤写详细教程”,就能轻松绕开纯文本审核防线。

想查看 GCG 离散词元梯度优化公式、困惑度与 BPB 定义以及可运行的 PyTorch fit_bradley_terry_elo 与 min_k_percent_prob_score 代码?按快捷键 M 或点击顶部 技术 Wiki 随时切换。

“无法度量,便无法改进;缺乏安全,便无法部署。” 随着大语言模型从实验室原型演进为全社会基础设施,科学评测体系(Evaluation) 与安全对齐工程(Safety & Alignment) 构成了模型迭代发布前的终极质检关卡。前者旨在剔除刷榜水分与数据污染,客观量化模型在知识、推理、编码与真实对话中的能力边界;后者则致力于系统性抵御越狱攻击、提示注入与有害内容输出。

直观理解

评测大模型就像设计高考:如果历年真题早已泄露进学生的复习题库(数据污染),考出满分也无法代表真实水平;而静态客观题(如 MMLU)又难以衡量作文文采与临场应变,因此还需要引入盲评对抗赛(Chatbot Arena)与实操项目考核(SWE-bench)。安全对齐则是为高速行驶的跑车装上防抱死刹车、安全气囊与围栏护板——既不能动辄“误刹”(过度拒绝正常请求),也不能在极端恶意碰撞下失灵。

问题动机与演进背景 ​

大模型评测与安全领域长期面临三大动态博弈:

  1. 基准饱和与数据污染(Benchmark Saturation & Contamination):早期权威基准(如 GSM8K、HumanEval、原版 MMLU)在短短两年内被前沿模型推至 90%+ 接近天花板,且互联网爬取的预训练语料极易无意(甚至刻意)混入测试题,使离线刷榜分数与真实体感严重背离。
  2. 主观开放质量难以自动化量化:自由写作、多轮代码协作、指令遵循细腻度缺乏唯一标准答案,催生了基于人类盲测偏好的 Chatbot Arena 与 LLM-as-a-Judge 自动化裁判范式。
  3. 有用性-无害性权衡与越狱军备竞赛:模型能力越强,一旦被对抗后缀(GCG)或间接提示注入攻破,造成的潜在危害越大;但若安全护栏过于激进,又会引发“过度拒绝(Over-refusal)”,连“如何在 Linux 下 kill 一个进程”都被误拒。

核心原理与数学推导 ​

1. 困惑度(Perplexity)与核心能力基准矩阵 ​

在预训练基座阶段,困惑度(Perplexity, PPL) 是最灵敏的内部指标,定义为验证集词元平均负对数似然的指数,直观表示模型在每一步预测时的“等效等概率候选词数”:

PPL(X)=exp(−1T∑t=1Tlog⁡Pθ(xt∣x<t))

需注意 PPL 强烈依赖 分词器(Tokenizer) 词表大小与切分粒度,不同词表模型间应改用 Bits-Per-Byte(BPB) 公平对比。面向下游能力的现代主流评测基准覆盖五大维度:

  • 通用知识与强干扰推理:MMLU-Pro(将原 MMLU 4 选项扩充至 10 选项并增加推理难度)、GPQA Diamond(博士级防搜索引擎物理/生物/化学难题)。
  • 数学与逻辑推演:GSM8K(小学应用题,已近饱和)、MATH / AIME(奥赛级数学推理,考验深度 思维链(CoT))。
  • 代码与真实软件工程:LiveCodeBench(按题目发布时间戳持续滚动更新,天然防污染)、SWE-bench Verified(基于真实 GitHub 仓库 Issue 编写补丁并通过完整 Docker 单元测试,评测端到端 Agent 工程能力)。

2. Chatbot Arena:Elo 评分与 Bradley-Terry 统计模型 ​

开放对话质量通过双盲众包对比(用户向匿名模型 A、B 提问并投票选出更优者)评估。早期在线 Elo 更新对样本提交顺序高度敏感;现代 LMSYS Chatbot Arena 采用与顺序无关的 Bradley-Terry(BT)极大似然估计 计算全局稳健评分与 Bootstrap 置信区间。

设模型 i 的潜在实力参数为 βi,则模型 i 在对战中击败模型 j 的概率建模为 Logistic 函数:

P(i≻j)=11+exp(−(βi−βj))

在观测到全体对战记录集合 D={(ik,jk,yk)}k=1M(其中 yk∈{0,0.5,1} 分别对应负、平、胜)后,通过凸优化极大化对数似然函数(可辅以 L2 正则化)求得全局唯一最优解 β^,再线性映射至经典国际象棋 Elo 标度(基准 1000 分,400 分差对应约 10:1 胜率):

Ratingi=1000+400ln⁡10β^i

此外,通过引入协变量(如回答长度、Markdown 格式密度)执行 Style-Controlled Arena 回归,可以剥离人类裁判偏好“长篇大论与精美排版”的长度偏置,还原真实智能水平。

3. 数据污染检测(Data Contamination Detection) ​

为识别模型是否“背过考题”,学术界与评测机构采用三类检测手段:

  1. N-gram 语料重叠检索:对开源训练集执行 13-gram 精确/近似去重扫描;
  2. Min-K% Prob 成员推理检测(Shi et al., 2024):未见过的文本往往存在少数极低概率的意外词元,而被模型记忆过的样本即便最难的词元也具有异常高的对数似然。取文本中概率最低的 K% 词元集合 Min-K%(x),计算平均对数概率:
ScoreMin-K%(x)=1|Min-K%(x)|∑xt∈Min-K%(x)log⁡Pθ(xt∣x<t)
  1. 动态扰动与时间戳隔离:对数学题数值重采样、选择题选项重排或替换为等价表述(如 GSM-Symbolic);若模型在原题上得分 95% 而仅替换数字后暴跌至 60%,则是典型的记忆污染铁证。

4. 越狱攻击:GCG 对抗后缀与提示注入 ​

安全对齐模型并非牢不可破,两类核心攻击构成了红队测试(Red Teaming)的核心靶点:

  • GCG(Greedy Coordinate Gradient,Zou et al., 2023):针对白盒(且可跨模型迁移至黑盒)的自动化梯度越狱算法。攻击者在有害指令 xharm 后拼接一段可优化的对抗后缀词元串 s=(s1,…,sL),优化目标是极大化模型输出肯定起始前缀 ytarget(如 "Sure, here is how to...")的条件概率:
mins∈VLLadv(s)=−log⁡Pθ(ytarget|xharm⊕s)

由于离散词元不可直接求导,GCG 对每个后缀位置 i 计算关于 One-hot 输入向量的负梯度 −∇esiLadv,选出 Top-k 个使损失下降最快的候选替代词元,再在 Batch 内精确前向评估选出全局最优单点替换,迭代数百步即可击穿大多数未加防线的对齐模型。

  • 直接与间接提示注入(Prompt Injection):攻击者利用 LLM 无法从底层架构区分“指令通道(Control Plane)”与“数据通道(Data Plane)”的根本缺陷,在待总结的网页、PDF 或工具返回值中植入恶意指令(如覆盖系统提示或窃取对话上下文)。

5. 安全对齐防线:Constitutional AI、Safe RLHF 与护栏分类器 ​

构建生产级大模型安全体系需实施纵深防御(Defense-in-Depth):

  1. Constitutional AI(CAI,Anthropic):用显式书面原则列表(“宪法”,如联合国人权原则、非暴力与隐私保护准则)取代高昂的人工有害标注。分为两个阶段:SL-CAI 让模型先生成回复,再依据随机抽取的宪法条款自我批评并修订(Critique-Revision)用于 SFT;RL-CAI(RLAIF) 让 AI 依据宪法对成对回复打分训练偏好模型,再执行 RLHF 或 DPO 偏好优化 对齐。
  2. Safe RLHF(带约束拉格朗日强化学习):将“有用性(Helpfulness)”与“无害性(Harmlessness)”解耦为两个独立模型——奖励模型 Rϕ 与代价/风险模型 Cψ,构建带安全阈值 d 的约束马尔可夫决策优化问题(CMDP),利用拉格朗日乘子 λ≥0 进行极小极大鞍点优化:
maxπθminλ≥0Ex,y∼πθ[Rϕ(x,y)−λ(Cψ(x,y)−d)]−βDKL(πθ∥πref)

当策略违规率高于阈值 d 时,对偶变量 λ 自动上升加重安全惩罚;当安全达标时,λ 自动回落以全力释放有用性。

  1. 输入/输出护栏分类器(Guardrail Models):在模型推理服务前后串联轻量专用安全审核模型(如 Llama Guard 3、ShieldGemma),依据多维风险分类法(暴力、自残、网络攻击、隐私泄露、提示注入)实时拦截高危输入与异常输出,为系统提供独立于主模型之外的硬边界兜底。

算法架构与数据流图 ​

下图展示了从离线科学评测到线上安全纵深防御的完整闭环架构:

图表加载中...

复杂度与横向对比表 ​

评测 / 安全方法核心目标自动化与成本抗污染 / 抗绕过能力典型局限与盲区
静态离线基准(MMLU-Pro / GPQA)量化客观知识与推理极高(秒级可复现)较弱(易随时间泄漏)无法反映真实对话交互与多轮体验
动态基准(LiveCodeBench / SWE-bench)抗污染代码与工程实操高(需沙盒容器)极强(按时间滚动)评测环境搭建重、单次跑分算力消耗大
Chatbot Arena (Bradley-Terry)开放式主观质量排名低(依赖众包投票)强(真实多样长尾提问)存在长度偏置、排版偏置与刷票风险
LLM-as-a-Judge低成本自动化开放评测高(API 批量打分)中等存在位置偏置(偏爱前者)与自我偏爱(Self-bias)
Constitutional AI / Safe RLHF内化模型安全价值边界中(训练期一次性投入)中强(仍可能被新型越狱突破)安全与有用性权衡难,调参不当易过度拒绝
外部护栏分类器(Llama Guard)实时内容与注入硬拦截高(轻量 1B–8B 低延迟)强(可独立热更新规则)增加首字延迟(TTFT),多轮隐晦语境易误报/漏报

核心 PyTorch / Python 参考实现 ​

下面给出 Bradley-Terry 竞技场 Elo 极大似然求解器 与 Min-K% Prob 数据污染检测指标 的可运行实现:

python
import math
import torch
import torch.nn.functional as F


def fit_bradley_terry_elo(
    matchups: list[tuple[int, int, float]],
    num_models: int,
    lr: float = 0.1,
    steps: int = 500,
    l2_reg: float = 1e-4,
    base_rating: float = 1000.0,
    scale: float = 400.0,
) -> torch.Tensor:
    """
    使用极大似然估计(MLE)求解 Chatbot Arena 的 Bradley-Terry 全局 Elo 评分。
    Args:
        matchups:   [(model_i, model_j, outcome), ...], outcome in {1.0(i胜), 0.5(平), 0.0(j胜)}
        num_models: 参赛模型总数
    Returns:
        ratings:    [num_models] 映射到国际象棋标度的稳健 Elo 分数
    """
    beta = torch.zeros(num_models, requires_grad=True)
    optimizer = torch.optim.Adam([beta], lr=lr)

    idx_i = torch.tensor([m[0] for m in matchups], dtype=torch.long)
    idx_j = torch.tensor([m[1] for m in matchups], dtype=torch.long)
    outcomes = torch.tensor([m[2] for m in matchups], dtype=torch.float32)

    for _ in range(steps):
        optimizer.zero_grad()
        # logit = beta_i - beta_j, P(i > j) = sigmoid(logit)
        logits = beta[idx_i] - beta[idx_j]
        nll = F.binary_cross_entropy_with_logits(logits, outcomes)
        loss = nll + l2_reg * torch.sum(beta ** 2)
        loss.backward()
        optimizer.step()

    with torch.no_grad():
        # 零均值中心化以消除平移自由度,再映射至 Elo 标度
        centered_beta = beta - beta.mean()
        ratings = base_rating + (scale / math.log(10.0)) * centered_beta
    return ratings


def min_k_percent_prob_score(
    token_log_probs: torch.Tensor,
    k_percent: float = 0.2,
) -> float:
    """
    Min-K% Prob 数据污染 / 成员推理检测分数。
    分数越高(越接近 0),说明文本中最生僻的 K% 词元仍被模型以极高置信度预测,
    存在更高的数据污染(训练期记忆)嫌疑。
    Args:
        token_log_probs: [T] 序列每个词元的条件对数概率 log P(x_t | x_<t)
        k_percent:       截取最低概率词元的比例,论文常用 0.2 (20%)
    """
    T = token_log_probs.numel()
    k = max(1, int(T * k_percent))
    # 选取概率最低(对数概率最小)的 k 个词元求均值
    lowest_k, _ = torch.topk(token_log_probs, k=k, largest=False)
    return lowest_k.mean().item()


if __name__ == "__main__":
    # 1. 演示 3 个模型的对战数据拟合 Bradley-Terry Elo
    # 模型 0 强于 模型 1,模型 1 强于 模型 2
    matches = [
        (0, 1, 1.0), (0, 1, 1.0), (0, 1, 0.5),
        (1, 2, 1.0), (1, 2, 1.0), (1, 2, 0.0),
        (0, 2, 1.0), (0, 2, 1.0), (0, 2, 1.0),
    ]
    elos = fit_bradley_terry_elo(matches, num_models=3)
    print("Bradley-Terry Elo Ratings:", [round(x, 1) for x in elos.tolist()])

    # 2. 演示 Min-20% Prob 检测:背过的文本极少出现超低概率词元
    memorized = torch.tensor([-0.1, -0.2, -0.15, -0.3, -0.25, -0.1, -0.2, -0.18, -0.12, -0.22])
    unseen = torch.tensor([-0.2, -0.4, -4.8, -0.5, -5.2, -0.3, -1.1, -0.6, -2.5, -0.4])
    print(f"Memorized Min-20% score: {min_k_percent_prob_score(memorized):.3f}")
    print(f"Unseen    Min-20% score: {min_k_percent_prob_score(unseen):.3f}")

工程实践与常见陷阱 ​

工程实践

  • 消除 LLM-as-a-Judge 裁判偏置的“双交换协议”:使用强模型做 Pairwise 自动化评测时,务必执行 Position Swapping(将 A/B 顺序互换各评一次):仅当两次均判同一方胜才记胜,结果翻转则记平局;同时为裁判提供清晰的细粒度评分量表(Rubric)与参考答案,可将人机一致性从约 70% 提升至 90% 以上。
  • 建立多维安全与误拒率(False Refusal Rate)双指标看板:上线安全对齐更新时,必须同步在有害集(如 HarmBench / JailbreakBench)和良性边界集(如 XSTest,包含“如何杀死僵尸进程”、“怎么把菜刀磨锋利”等含敏感词的正常问题)上评测,严防以牺牲可用性换取虚假安全感。
  • 指令层级化(Instruction Hierarchy)防御提示注入:在训练与系统架构层面显式划分优先级 System Prompt > User Prompt > Unprivileged Tool/RAG Data,让模型学会无视来自低权限工具输出中的任何控制流覆盖企图。

常见陷阱

  • 基准模板微调差异导致跨论文不可比:同一模型在 MMLU 上使用 0-shot vs 5-shot、Log-likelihood 选字母 vs 自由生成正则抽取,分数差异可达 5–10 个百分点。做横向选型必须使用统一开源评测框架(如 lm-evaluation-harness 或 OpenCompass)在相同 Prompt 与解码参数下复现。
  • 把护栏分类器当成唯一安全边界:单纯依赖外部关键词过滤或分类器而忽视基座本身的安全对齐,一旦遇到 Base64 编码、多语言混合、ASCII Art 或隐喻角色扮演,外挂护栏极易失效;必须坚持“模型内化对齐 + 输入输出护栏 + 沙盒权限最小化”三层联动。
  • 忽视多模态跨通道越狱:纯文本安全对齐良好的 视觉语言模型(VLM) 往往会在视觉通道彻底失守——将有害指令渲染成一张普通排版图片(Typographic Attack)并配以无害文本“请执行图中的步骤”,即可轻松绕过仅审核文本的传统安全防线;同时在预训练阶段须配合 数据工程去重 严防评测泄漏。

延伸阅读与参考论文 ​

  • Chiang, W.-L., Zheng, L., Sheng, Y., et al. (2024). Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. ICML 2024. arXiv:2403.04132 ↗
  • Wang, Y., Ma, X., Zhang, G., et al. (2024). MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark. NeurIPS 2024. arXiv:2406.01574 ↗
  • Jimenez, C. E., Yang, J., Wettig, A., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues? ICLR 2024. arXiv:2310.06770 ↗
  • Shi, W., Ajith, A., Xia, M., et al. (2024). Detecting Pretraining Data from Large Language Models (Min-K% Prob). ICLR 2024. arXiv:2310.16789 ↗
  • Zou, A., Wang, Z., Carlini, N., et al. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models (GCG). arXiv:2307.15043 ↗
  • Bai, Y., Kadavath, S., Kundu, S., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. Anthropic. arXiv:2212.08073 ↗
  • Dai, J., Pan, X., Sun, R., et al. (2023). Safe RLHF: Safe Reinforcement Learning from Human Feedback. ICLR 2024. arXiv:2310.12773 ↗