henry 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
剛剛，何愷明團(tuán)隊(duì)提出全新生成模型范式漂移模型（Drifting Models）論文。
這篇論文的一作也是人大附中校友，奧賽雙料金牌得主鄧明揚(yáng)加入愷明團(tuán)隊(duì)的第一篇一作論文論文。
論文中，漂移模型將生成模型分布演化的過(guò)程從“推理階段”轉(zhuǎn)向了神經(jīng)網(wǎng)絡(luò)的“訓(xùn)練階段”，實(shí)現(xiàn)了真正意義上的單步生成（One-step Generation）論文。
漂移模型的核心創(chuàng)新在于引入了“漂移場(chǎng)”（Drifting Field）機(jī)制論文。
其通過(guò)在訓(xùn)練中直接對(duì)齊先驗(yàn)分布與真實(shí)數(shù)據(jù)分布，不僅消除了GANs中常見的對(duì)抗訓(xùn)練不穩(wěn)定性，更徹底擺脫了流匹配（Flow Matching）或擴(kuò)散模型（Diffusion）對(duì)多步ODE/SDE求解的依賴論文。
在ImageNet 256x256基準(zhǔn)測(cè)試中，漂移模型在1-NFE（單步推理）下取得了1.54FID的成績(jī)，證明了從頭開始訓(xùn)練的單步模型在質(zhì)量上完全可以媲美甚至超越經(jīng)過(guò)數(shù)百步迭代的傳統(tǒng)模型論文。
展開全文
生成模型新范式論文：漂移模型
漂移模型 (Drifting Model) 的核心可以總結(jié)為以下兩點(diǎn)論文：
將迭代從推理轉(zhuǎn)為訓(xùn)練：不同于擴(kuò)散模型在生成時(shí)需要多次迭代（去噪），它將深度學(xué)習(xí)固有的“迭代訓(xùn)練過(guò)程”視為分布演化的動(dòng)力，從而實(shí)現(xiàn)單步 (one-step) 高質(zhì)量生成論文。
利用“漂移場(chǎng)”趨向平衡：通過(guò)引入一個(gè)受數(shù)據(jù)吸引和自身排斥的“漂移場(chǎng)”作為損失函數(shù)，當(dāng)生成的分布與真實(shí)數(shù)據(jù)分布完全匹配時(shí)，漂移場(chǎng)歸零達(dá)到平衡，從而完成模型學(xué)習(xí)論文。
將迭代從推理轉(zhuǎn)為訓(xùn)練：不同于擴(kuò)散模型在生成時(shí)需要多次迭代（去噪），它將深度學(xué)習(xí)固有的“迭代訓(xùn)練過(guò)程”視為分布演化的動(dòng)力，從而實(shí)現(xiàn)單步 (one-step) 高質(zhì)量生成論文。
利用“漂移場(chǎng)”趨向平衡：通過(guò)引入一個(gè)受數(shù)據(jù)吸引和自身排斥的“漂移場(chǎng)”作為損失函數(shù)，當(dāng)生成的分布與真實(shí)數(shù)據(jù)分布完全匹配時(shí)，漂移場(chǎng)歸零達(dá)到平衡，從而完成模型學(xué)習(xí)論文。
接下來(lái)，我們具體來(lái)看論文。
不同于側(cè)重于樣本與標(biāo)簽映射的判別模型，生成模型的核心在于學(xué)習(xí)分布之間的轉(zhuǎn)換論文。
其本質(zhì)是學(xué)習(xí)一個(gè)映射函數(shù)f，將簡(jiǎn)單的先驗(yàn)分布（如高斯噪聲）轉(zhuǎn)換為與真實(shí)數(shù)據(jù)匹配的推移分布（Pushforward Distribution）論文。
目前，擴(kuò)散模型（Diffusion）或流匹配模型（Flow Matching）等主流范式，將這種分布的演變放在推理階段迭代執(zhí)行論文。
這意味著生成一張圖像需要多次調(diào)用神經(jīng)網(wǎng)絡(luò)，導(dǎo)致計(jì)算開銷大、生成速度慢論文。
而漂移模型則提出了一種全新的范式：將分布的演化從推理階段轉(zhuǎn)移到了訓(xùn)練階段論文。
這一設(shè)計(jì)的可行性植根于深度學(xué)習(xí)的本質(zhì)——
神經(jīng)網(wǎng)絡(luò)的訓(xùn)練本身就是一個(gè)迭代優(yōu)化的過(guò)程（如 SGD）論文。
在傳統(tǒng)的視角下，我們只關(guān)注損失函數(shù)的下降；但在漂移模型中，訓(xùn)練的每一輪迭代都被賦予了物理意義：模型參數(shù)的微小更新，會(huì)直接驅(qū)動(dòng)輸出樣本在空間中產(chǎn)生相應(yīng)的位移論文。
論文將這種隨訓(xùn)練步次發(fā)生的樣本位移定義為漂移（Drift）論文。
這意味著，映射函數(shù)f隨著參數(shù)不斷被優(yōu)化，它所產(chǎn)生的推移分布（Pushforward Distribution）也隨之自然地發(fā)生動(dòng)態(tài)演變論文。
換句話說(shuō)，模型訓(xùn)練的軌跡，在本質(zhì)上就等同于分布演化的路徑論文。 既然訓(xùn)練過(guò)程已經(jīng)完成了這一演化，推理時(shí)自然不再需要多步迭代。
由此，漂移模型將原本昂貴的迭代開銷內(nèi)化在了訓(xùn)練階段，使得模型在推理時(shí)僅需單次前向傳播（One-step generation）即可生成高質(zhì)量樣本論文。
這不僅消除了多步推理的計(jì)算負(fù)擔(dān)，也避開了GANs對(duì)抗訓(xùn)練帶來(lái)的不穩(wěn)定性論文。
通過(guò)漂移場(chǎng)來(lái)引導(dǎo)樣本移動(dòng)論文，控制推移分布
在具體的實(shí)現(xiàn)上，論文引入了一個(gè)漂移場(chǎng)（Drifting Field）來(lái)引導(dǎo)樣本移動(dòng)，進(jìn)而控制推移分布論文。
與流匹配（Flow Matching）在推理階段引導(dǎo)樣本移動(dòng)的向量場(chǎng)（Vector Field）不同，漂移場(chǎng)（Drifting Field）是一個(gè)作用于訓(xùn)練階段、用于刻畫樣本空間演化趨勢(shì)的函數(shù)論文。
在給定樣本的情況下，漂移場(chǎng)會(huì)計(jì)算出該位置的修正位移論文。
修正位移本質(zhì)上是為神經(jīng)網(wǎng)絡(luò)的參數(shù)更新提供導(dǎo)航：通過(guò)在訓(xùn)練迭代中最小化漂移量，強(qiáng)制模型在出廠前就將輸出分布與目標(biāo)分布對(duì)齊，從而實(shí)現(xiàn)單步生成論文。
隨著訓(xùn)練步數(shù)的增加，模型序列對(duì)應(yīng)的推移分布會(huì)受該場(chǎng)驅(qū)動(dòng)，逐漸向真實(shí)數(shù)據(jù)分布靠攏論文。
訓(xùn)練目標(biāo)在于建立一種平衡機(jī)制：當(dāng)生成的分布與真實(shí)數(shù)據(jù)分布完全匹配時(shí)，漂移場(chǎng)將歸于零論文。
接下來(lái)，論文將此更新規(guī)則轉(zhuǎn)化為一種基于梯度停止（Stop-gradient）的損失函數(shù)論文。
該損失函數(shù)并不直接對(duì)復(fù)雜的漂移場(chǎng)求導(dǎo)，而是將當(dāng)前步的漂移后位置視為一個(gè)凍結(jié)的目標(biāo)，驅(qū)使模型預(yù)測(cè)向該目標(biāo)靠攏，從而間接最小化漂移量論文。
在算法層面論文，具體的隨機(jī)訓(xùn)練步驟如下：
生成樣本：從先驗(yàn)分布采樣噪聲，生成樣本論文。
獲取參考：從數(shù)據(jù)集中采樣真實(shí)樣本作為正樣本論文。
計(jì)算位移：根據(jù)正、負(fù)樣本的分布，計(jì)算出每個(gè)樣本位置的漂移向量論文。
優(yōu)化更新：將(x+V)設(shè)為目標(biāo)值（并停止梯度），更新網(wǎng)絡(luò)參數(shù)使其輸出向該目標(biāo)靠攏論文。
生成樣本：從先驗(yàn)分布采樣噪聲，生成樣本論文。
獲取參考：從數(shù)據(jù)集中采樣真實(shí)樣本作為正樣本論文。
計(jì)算位移：根據(jù)正、負(fù)樣本的分布，計(jì)算出每個(gè)樣本位置的漂移向量論文。
優(yōu)化更新：將(x+V)設(shè)為目標(biāo)值（并停止梯度），更新網(wǎng)絡(luò)參數(shù)使其輸出向該目標(biāo)靠攏論文。
此外論文，為了處理圖像等高維數(shù)據(jù)，論文還引入了以下關(guān)鍵設(shè)計(jì)：
首先，該方法超越了單一的像素空間，轉(zhuǎn)而利用MAE或MoCo等預(yù)訓(xùn)練自監(jiān)督模型構(gòu)建特征空間映射，在更高維的語(yǔ)義層面上引導(dǎo)分布匹配，從而顯著提升了生成結(jié)果的保真度論文。
在此基礎(chǔ)上，漂移場(chǎng)被具體實(shí)例化為吸引與排斥的動(dòng)態(tài)結(jié)合論文。
生成的樣本受到真實(shí)數(shù)據(jù)分布的強(qiáng)力吸引以確保細(xì)節(jié)精準(zhǔn)，同時(shí)又受到當(dāng)前生成分布的排斥力，從而有效維持了樣本的多樣性并防止模式坍縮論文。
為了使這種力場(chǎng)估計(jì)更加精確且穩(wěn)定，研究引入了指數(shù)核函數(shù)來(lái)衡量樣本間的相似度，并借鑒對(duì)比學(xué)習(xí)（如InfoNCE）的思想，通過(guò)Softmax進(jìn)行歸一化處理論文。
更重要的是，該范式將分類器自由引導(dǎo)（CFG）機(jī)制直接內(nèi)化于訓(xùn)練階段：通過(guò)在計(jì)算漂移時(shí)向負(fù)樣本中混入無(wú)條件的真實(shí)數(shù)據(jù)，模型在訓(xùn)練迭代中便自發(fā)學(xué)會(huì)了條件外推論文。
這種設(shè)計(jì)使得模型在推理時(shí)不再需要額外的NFE開銷，僅憑單步采樣就能獲得極強(qiáng)的引導(dǎo)效果論文。”
實(shí)驗(yàn)結(jié)論
在實(shí)驗(yàn)驗(yàn)證環(huán)節(jié)，漂移模型在最具挑戰(zhàn)性的ImageNet 256×256基準(zhǔn)測(cè)試中論文。
該模型在單步推理（1-NFE）下表現(xiàn)卓越：其在潛空間（Latent space）達(dá)到了1.54 FID論文。在像素空間（Pixel space）則達(dá)到了1.61 FID。
這一成績(jī)不僅刷新了單步生成的紀(jì)錄，其效果甚至優(yōu)于許多需要 250 步迭代推理的傳統(tǒng)擴(kuò)散模型（Diffusion）或流匹配模型（Flow Matching）論文。
除了圖像生成，該范式在具身智能控制任務(wù)（Robot Control）中也表現(xiàn)出極強(qiáng)的泛化能力論文。
實(shí)驗(yàn)表明，其單步推理的決策質(zhì)量即可匹配甚至超越需要100步推理的 Diffusion Policy，極大地降低了實(shí)時(shí)控制系統(tǒng)的延遲論文。
總結(jié)來(lái)看，漂移模型成功地將原本屬于推理階段的生成壓力轉(zhuǎn)移到了訓(xùn)練階段，實(shí)現(xiàn)了真正意義上的一步到位論文。
這一成就不僅提供了一種不同于傳統(tǒng)微分方程（SDE/ODE）的生成視角，更將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程重新詮釋為分布演變的動(dòng)力機(jī)制論文。
論文作者簡(jiǎn)介
這篇論文的一作，是競(jìng)賽圈鼎鼎有名的鄧明揚(yáng)，人稱“乖神”論文。
鄧明揚(yáng)出自北京人大附中，是IMO、IOI雙料金牌得主，同時(shí)也是IOI歷史上第三位滿分選手論文。
他高一拿下IMO金牌，高三拿下IOI金牌，高中畢業(yè)后，他本科與博士均就讀于MIT論文。
目前是博士二年級(jí)，師從何愷明論文。
在進(jìn)入學(xué)術(shù)界之前，他還曾在Google DeepMind、Meta（FAIR）、Citadel Securities、Pika等機(jī)構(gòu)實(shí)習(xí)論文。
這篇論文的其他作者論文，同樣來(lái)頭不?。?/p>
李赫，清華姚班校友，目前大三在讀，曾于2025年2月至5月在 MIT何愷明課題組擔(dān)任研究實(shí)習(xí)生論文。
黎天鴻，清華姚班校友，于2024 年9月加入何愷明課題組，擔(dān)任博士后論文。
Yilun Du，現(xiàn)任哈佛大學(xué)Kempner Institute與計(jì)算機(jī)科學(xué)系助理教授，領(lǐng)導(dǎo)Embodied Minds實(shí)驗(yàn)室論文。
他本科畢業(yè)于MIT，曾任OpenAI研究員、Google DeepMind高級(jí)研究科學(xué)家，并獲得 國(guó)際生物奧林匹克競(jìng)賽金牌論文。
論文鏈接論文：
項(xiàng)目主頁(yè)論文：
— 歡迎AI產(chǎn)品從業(yè)者共建 —
??「AI產(chǎn)品知識(shí)庫(kù)」是量子位智庫(kù)基于長(zhǎng)期產(chǎn)品庫(kù)追蹤和用戶行為數(shù)據(jù)推出的飛書知識(shí)庫(kù)，旨在成為AI行業(yè)從業(yè)者、投資者、研究者的核心信息樞紐與決策支持平臺(tái)論文。
