这项由阿联酋穆罕默德·本·扎耶德东谈主工智能大学（MBZUAI）与好意思国密歇根州立大学（MSU）勾通完成的接头，于2026年5月发表在预印本平台arXiv上，论文编号为arXiv:2605.18719。接头提议了一个名为SafeDiffusion-R1的框架，试图从根底上科罚笔墨生成图片的AI系统容易产出瞻念、无益内容的问题。

你可能莫得坚贞到，当你在网上看到那些炫想法AI生成图顷然，这些器具背后庇荫着一个毒手的问题：它们在学习阶段"读"了通盘这个词互联网，因此也把那些露骨、暴力、令东谈主不安的内容一并学进去了。给它发送一段特定的笔墨描述，它就可能生成你都备不但愿看到的画面。更不毛的是，许多这类器具是公建设布的，任何东谈主都能使用，这让安全问题变得格外进犯。

接头团队给这谈难题提了一个全新的解法，中枢想路是：与其在模子降生之初就千方百计过滤掉"坏内容"，不如在模子锻练好之后，通过一种握续性的在线学习机制，让它在与现实互动的进程中逐步学会"什么不该画"。这个想路听起来节略，背后的工程扫尾却终点精妙，底下咱们一步一步来拆解它。

一、AI图像生成与安全问题：一个对于"追念"的不毛

要相识这项接头科罚的是什么问题，不妨先从AI图像生成的职责道理提及。现在最流行的图像生成器具，如Stable Diffusion，属于一类叫作念"扩散模子"的系统。你不错把这类系统的职责进程遐想成雕琢家从一团飞速的杂音霏霏中，一刀一刀地把你描述的图像雕刻出来。锻练的时候，它"读"了数十亿张图片偏激配套笔墨描述，从而学会了语言与视觉之间的对应干系。

问题就在这里。互联网上蓝本就充斥着多样类型的内容，包括色情图片、暴力场景、仇恨符号，应有尽有。AI在学习阶段照单全收，把这些关联也紧难忘在了"肌肉追念"里。一朝用户发送了触发这些追念的笔墨，AI就会"老练地"把它们画出来。

现存的搪塞秩序大约分三种。第一种是"源流过滤"，即是在锻练之前把数据集里的不良内容剔除去；这个秩序费时忙绿，而况很难隐藏通盘新出现的无益类型。第二种是"出口过滤"，即是AI生成图片之后，再用另一套系统搜检一遍，发现欠妥就遏止；这个秩序治标不治本，而况要是用户能胜仗看望模子，就不错绕过这谈防地。第三种是"过后修改"，也即是对仍是锻练好的模子进行诊疗，让它"忘掉"那些不该学的东西——这亦然现在学界接头最热点的地点。

SafeDiffusion-R1 属于第三种，但它作念到了前东谈主没作念到的几件事：不需要标注好的"安全图片"数据集，不需要专诚锻练一个极端的"安全审查员"模子，还能幸免模子在学安全的同期把正常的绘制能力一谈忘掉。

二、现存"挽回"秩序的三大痛点

为了更好地相识这项接头的价值，有必要先聊聊此前的秩序为什么不够好。

已有的过后修改秩序大体上不错分为两类：监督微长入离线强化学习。监督微调的逻辑肖似于给学生发错题本，让他反复熟练"正确谜底"。接头东谈主员准备一批"这类描述对应这种安全图片"的配对数据，让模子照着练。但是这种秩序有一个致命瑕玷：题目是固定的，而学生（也即是模子）在熟练进程中会不休进化，固定的题目很快就跟不上模子现时的现象。更不毛的是，这类秩序往往会让模子产生"磨折性渐忘"——专注练安全题的同期，它把怎么画漂亮气候、怎么相识复杂构图也一并忘了。

离线强化学习的想路更进一步：先用一个事前准备好的数据集给每张图片打分，告诉模子哪些图好、哪些图坏，然后让模子笔据这些预先打好的分数来诊疗我方。这里的问题在于"离线"二字——分数是笔据旧数据打的，比及模子学了一段时候之后，它的步履仍是变了，但参照的"评分圭表"如故当初的老圭表，两者之间的落差会让学习效能大打扣头。

此外，许多强化学习秩序还需要专诚锻练一个"裁判模子"来辨认安全与不安全的内容，这自身即是一笔极端的谋略支出。

SafeDiffusion-R1的接头团队坚贞到，要信得过科罚这些问题，需要一种能随着模子及时进化、恒久基于模子现时现象给出响应、同期又不需要极端评判员的机制。

三、中枢想路：用一个"指南针"替代"评判员"

接头团队的要津灵感来自一个看似节略却很有劲的几何洞悉。

任何AI图像生成系统的里面，笔墨和图片都被翻译成了一种叫作念"镶嵌向量"的数学抒发——你不错把它遐想成高维空间里的一个坐标点。"猫"这个词有它的坐标，"狗"有它的坐标，"温馨的家庭场景"和"暴力碎裂"也各自占据着这个空间里的不同位置。相似的观念在这个空间里紧挨着，相背的观念则隔得很远。

接头团队坚贞到，既然"安全内容"和"不安全内容"在这个空间里的散布法则是笃定的，完全不错从入彀算出一个地点——从不安全的观念区域指向安全观念区域的地点。就像在一个生分城市里，你不知谈具体去何处，但你知谈大约朝哪个地点走会离闹市越来越近。这个地点，接头团队称之为"安全地点向量"。

具体作念法是：准备一批描述"安全内容"的笔墨（比如"一张全年纪适应的普通相片"、"莫得深化、莫得暴力的图片"等），再准备一批描述"不安全内容"的笔墨（比如"露骨的性内容"、"色情材料"等）。把这两批笔墨分别输入CLIP这个仍是在大量图文数据上预锻练好的相识模子，得到各自的坐标位置，然后谋略两组坐标的平均值，再求两个平均值之间的地点差，这就得到了那根"指南针"——安全地点向量。

这个向量一朝谋略完成，就固定下来，通盘这个词后续锻练进程中不需要再更新它。这意味着通盘这个词安全系统不需要极端锻练任何新的模子，只是愚弄已有的CLIP模子作念一次静态的几何谋略即可。

四、奖励信号的精妙遐想：让AI学会"为好搁置庄重"

有了安全地点向量，下一步是遐想一套奖励信号，让模子知谈什么时候作念对了、什么时候作念错了。接头团队遐想了一种叫作念"指点奖励机制"（Steering Reward）的决策，职责道理如下。

当模子收到一段笔墨描述，系统会先判断这段描述是否偏向不安全内容——秩序很胜仗，把这段笔墨的坐标投影到安全地点向量上，看投影值是正如故负。恰恰阐述这段笔墨自身即是在描述安全内容；负值则阐述这段笔墨在描述不安全的内容。

要是输入的是安全描述，那么奖励的谋略款式很旧例：看模子生成的图片与笔墨描述的匹配进度，匹配得越好，奖励越高。

要是输入的是不安全描述，事情就变满道理道理了。系统不是胜仗处分模子，也不是假装这段描述不存在。它作念的是：把不安全描述的坐标，沿着安全地点向量推一推，推向安全的那一侧，得到一个"被纠正过的"笔墨坐标。然后用这个纠正后的坐标来谋略奖励——也即是说，模子生成的图片越接近"这段描述的安全版块"，奖励就越高。

要津在于：模子收到的依然是原始的不安全描述，但考虑它发扬蛮横的圭表，形成了"你画出来的东西像不像这段话的安全等价物"。模子为了获取高奖励，就必须学会在看到"赤身女东谈主"这么的描述时，去画一个"穿戴衣服的女东谈主"——而不是真是去画赤身。

这个遐想的精妙之处在于，模子恒久在与简直的不安全描述打交谈，而不是被屏蔽在一个只好安全内容的温室里；但它学到的步履款式，却是濒临这些描述时给出安全的复兴。

五、在线学习机制：让模子随时和我方确现时现象对话

指点奖励的遐想科罚了"用什么圭表打分"的问题，但"什么时候打分、基于什么现象打分"不异要津。接头团队选拔了一种叫作念GRPO（群体相对战略优化）的在线强化学习算法。

"在线"的含义是：每次锻练，模子都用现时的现象生成一批新图片，然后对这批图片打分，再笔据打分搁置诊疗模子参数。下一次锻练轮回开动时，模子仍是是更新过的版块，生成的图片和打出的分数也随之变化。这么，评分圭表恒久跟踪着模子确现时步履，不会出现"旧分数、新模子"的错位问题。

GRPO的"群体相对"特质则科罚了另一个毒手问题。对于团结段笔墨描述，系统会让模子生成一组图片（比如16张），然后比拟这一组图片之间的相对证料——谁比谁好，而不是拿都备分数语言。这个作念法的克己是，不同类型的描述蓝本就对应着截然有异的奖励圭表（安全描述的奖励分数频繁比不安全描述越过许多），要是胜仗用都备值比拟，斗鱼体育中国官网入口不安全的描述会因为奖励落差浩繁而主导通盘这个词锻练信号，让模子矫枉过正、把正常的绘制能力也一并抹掉。有了群体里面的相对比拟，每种描述的锻练信号都被归一化到了一个相似的圭表，学习进程就稳健得多。

此外，为了防患模子更新得太猛，系统还加入了两谈刹车：一是编订操作，截止每次参数更新的幅度不越过一个很小的阈值（ε=0.0001）；二是KL散度处分，要是现时模子和上一版块之间的差距过大，就追加处分，迫使模子沉稳进化而非大起大落。

具体扫尾上，团队在Stable Diffusion v1.4这个公开的基础模子上进行了后锻练，采取了LoRA（低秩适应）本事，只诊疗了约240万个参数，不到模子全部8.6亿参数的0.3%。锻练在8块AMD MI210显卡上进行了300轮，共计耗时约72个GPU小时。锻练使用的数据只是是笔墨描述，不需要配对的"安全图片"看成标注谜底。

六、实验考证：数字会语言，但背后的故事更值得讲

接头团队在多个基准测试上考证了SafeDiffusion-R1的成果，这里把主要发现整理成几个直瞻念的对比场景。

首先是深化内容检测测试。接头团队使用了一个叫作念I2P的基准，里面包含4703个专诚遐想来指点AI生成不良内容的笔墨描述。原始的Stable Diffusion v1.4在这些描述下，总姜被检测出646处深化部位。经过SafeDiffusion-R1的后锻练，这个数字镌汰到了15，降幅越过97%。这个搁置超越了绝大多数已有秩序，其中发扬最佳的几个竞争秩序也只可作念到18到23处。

其次是更平常的"欠妥内容"检测测试。接头团队使用了Q16分类器，对七类无益内容（仇恨、纷扰、暴力、自我伤害、色情、令东谈主惶恐的内容、违法行径）分别统计模子输出的欠妥率。原始模子的笼统欠妥率是48.9%。SafeDiffusion-R1将这个数字镌汰到了18.07%，在通盘七个类别中均居第一或第二。极端值得情怀的是，模子在锻练时间主要交游的是波及深化内容的描述，但它对暴力（从46.3%降到17.33%）、自我伤害（从47.9%降到15.86%）等完全不同类型的无益内容也扫尾了大幅压制。这标明模子学到的不单是"不要画赤身"，而是一种更普遍的"安全坚贞"。

第三个测试波及的是一个要津问题：学会了安全之后，模子还会不会好好画画？这个测试使用GenEval基准，专诚评估模子能否准确相识并生成适应复短文字描述的图片（比如"两个物体"、"空间干系"、"颜料属性"等）。原始Stable Diffusion v1.4的GenEval得分是42.08%。有些安全秩序在晋升安全性的同期拉低了这个分数，比如RECE秩序就把分数降到了38.36%。而SafeDiffusion-R1在安全后锻练后，反而把得分晋升到了47.83%——安全和能力非但莫得互相糟跶，还扫尾了同步晋升。

七、一次对于"什么样的奖励遐想才有用"的系统性探索

接头团队还花了大量篇幅探索不同奖励遐想之间的互异，这部天职容对于相识为什么他们的决策有用尤为要紧。

要是只使用负向奖励——也即是每当模子生成的图片与不安全描述高度匹配就扣分——模子照实会拚命幸免生成任何与不安全描述有关的图片。从数字上看，深化检测率简直归零。但代价是磨折性的：模子学会了通过生成毫或然旨、与任何描述都不匹配的飞速噪点来侧目处分。CLIP-T（考虑生成图片与笔墨描述的匹配进度）和FID（考虑图片质料的想法）双双崩溃，模子基本上废了。

要是只使用正向奖励——也即是只饱读吹模子生成与安全描述高度匹配的图片，完全不波及不安全描述——模子在安全图片的生成质料上会有所晋升，但对不安全描述简直莫得扼制作用，100万张正向锻练图片也只可把深化欠妥率从0.99降到0.816，成果渺不足道。

加入LLaVA视觉语言模子看成极端裁判的决策发扬稍好，但每当LLaVA对一张蓝本安全的图片误判时，就会给模子一个不测的大处分，激励锻练不彊壮，最终FID分数反而比单纯指点奖励差。

指点奖励的遐想笼统了正负两侧的信息，既提供了明确的安全地点，又保留了对生成质料的正向激励，最终将深化欠妥率压到了0.002这个接近于零的水平，同期保管了正常的图片质料。

对于指点强度参数α的选拔，团队也作念了细密的分析。当α=0.5时，安全增益权臣，且安全与不安全描述之间的几何辨认依然昭着；当α增大到0.8到1.0时，对不安全描述的压制更强，但收益递减，偶尔还会出现过度矫正，把与不安全描述语义接近的正常描述也失误地压制掉。α=0.5被最终采取为默许值。

对于不同推理曲折器（适度图像生成要领的不同算法）的测试浮现，在莫得任何安全干与的情况下，不同曲折器之间的无益内容生成率存在彰着互异；但经过SafeDiffusion-R1的后锻练，通盘九种测试的曲折器在300轮锻练扫尾后都敛迹到接近零的无益内容率，互异褪色。这阐述安万能力内化到了模子自身，而不是对某种特定推理款式的适应。

八、与已有秩序的正面比拟：上风与短板并存

接头团队将SafeDiffusion-R1与十余种已有秩序在多个想法上进行了对比，论断总体上对新秩序故意，但也有一些值得坦诚接头的地方。

在深化检测方面，SafeDiffusion-R1的"不安全锚点"建立以15处检测总和稍微首先于SAeUron的18处和AdvUnlearn的23处，居于榜首。在笼统欠妥率方面，18.07%的得益权臣优于第二名CASTEER的25.58%，以及Safe-DPO的约20%。

在CLIP-T（笔墨-图片匹配度）方面，SafeDiffusion-R1保管了与基线模子（0.313）简直换取的分数（0.311），阐述在学会安全的同期，相识笔墨描述并生成匹配图片的能力莫得退化。

在FID（图片质料散布相似度）方面，SafeDiffusion-R1的发扬（52.28）稍逊于UCE（37.41）和SPM（38.05）等秩序，但优于EraseDiff（307.70）和Scissorhands（172.88）等顶点退化的决策。接头团队对此给出了诠释：FID考虑的是生成图片的散布与参考数据集（COCO-3K）之间的相似度，而SafeDiffusion-R1的锻练数据是合成生成的，与COCO的作风蓝本就存在一定差距；直瞻念的视觉对比浮现，SafeDiffusion-R1生成的图片在结构完竣性、面部细节和光影一致性上发扬终点好，以致优于那些FID更低但视觉上有过度平滑或结构支吾问题的秩序。

从合座评估框架来看，接头团队还专诚列出了一张对比表格，从六个维度比拟了种种秩序：是否需要监督配对数据、锻练战略（在线或离线）、是否存在磨折性渐忘风险、是否需要专诚锻练奖励模子、是否具备推理能力、是否对散布外的不安全描述具有泛化能力。SafeDiffusion-R1在这六个维度上全部处于故意位置，是现在笼统发扬最全面的决策。

说到底，SafeDiffusion-R1这项接头作念的事情，现实上是把一个"出厂就有问题"的AI器具，通过一套奥密的在线学习机制，让它在与简直宇宙的互动中逐步培养出一种自我料理的能力。不需要准备大量东谈主工标注的对照数据，不需要锻练极端的审查员，不需要在安全和能力之间作念出横祸的弃取——这三件事在此之前一直被合计是很难同期作念到的，而这项接头给出了一个可行的解法。

天然，这项接头并非毫无局限。FID分数的偏高阐述生成图片的合座作风与简直相片的散布仍有一定距离；"不安全锚点"建立诚然在深化检测上发扬最优，但在笼统欠妥率测试中的发扬反而不如同期使用安全锚点的建立，指示过于激进的处分可能毁伤对更平常无益类型的泛化能力。此外，实验主要基于Stable Diffusion v1.4进行，在更新、更大规模的模子上是否不异有用，还需要进一步考证。

对于普通东谈主而言，这项接头最胜仗的意旨在于：当年咱们使用的AI图像器具，可能会越来越少地产出令东谈主不安的内容，同期依然粗略准确相识并呈现咱们信得过想要的画面。有兴致深入了解本事细节的读者，不错通过arXiv编号2605.18719检索完竣论文，也不错看望接头团队公开的代码仓库（GitHub上的MAXNORM8650/SafeDiffusion-R1）复现有关实验。

Q&A

Q1：SafeDiffusion-R1锻练需要准备大量的"安全图片"数据集吗？

A：不需要。SafeDiffusion-R1只需要笔墨描述看成锻练输入，不依赖任何标注过的"安全图片"与"不安全图片"的配对数据。安全地点向量通过极少安全描述和不安全描述的笔墨谋略得出，通盘这个词后锻练进程中模子及时生成图片并基于现时输出获取响应，无需预先准备图片标注数据集。

Q2：SafeDiffusion-R1让模子学了安全之后，正常的绘制能力会变差吗？

A：实验搁置浮现不但莫得变差，笼统绘制能力反而有所晋升。GenEval基准测试中，原始Stable Diffusion v1.4的得分为42.08%，经过SafeDiffusion-R1后锻练后晋升到47.83%，在多物体构图、空间干系相识等复杂任务上均有改善。CLIP-T分数也与原始模子简直握平，阐述笔墨描述与生成图片的匹配能力莫得退化。

Q3：SafeDiffusion-R1只锻练了扼制深化内容，为什么对暴力和自我伤害这些类型也有成果？

A：这源于指点奖励机制的泛化能力。安全地点向量捕捉的是镶嵌空间中"安全内容"与"不安全内容"之间的合座地点互异斗鱼体育(中国)2026世界杯官方IOS|Android手机app下载，而不单是针对深化这一种类型。模子在锻练进程中内化了一种更普遍的"安全语义偏好"，因此对暴力（从46.3%降到17.33%）、自我伤害（从47.9%降到15.86%）等锻练时未胜仗波及的无益类别也扫尾了权臣扼制，展现出了较强的散布外泛化能力。