繼2024年底發(fā)布一篇新論文后，1月12日晚間，DeepSeek再度發(fā)布重磅研究成果，此次論文聚焦大模型的條件記憶模塊論文。DeepSeek在結(jié)論中明確指出，這一模塊將成為下一代稀疏大模型中不可或缺的核心建模原語。結(jié)合此前“DeepSeek下一代旗艦?zāi)Ｐ蚔4將于春節(jié)前后發(fā)布”的爆料，業(yè)內(nèi)普遍猜測，近期連續(xù)披露的研究成果或已勾勒出V4模型的核心研究路線圖。
此次發(fā)布的論文題為《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（《基于條件查找的條件記憶：大型語言模型稀疏性的新維度》），由DeepSeek與北京大學(xué)聯(lián)合完成，DeepSeek創(chuàng)始人梁文鋒亦位列作者名單論文。論文的核心洞察在于，大模型實際承擔(dān)著兩類性質(zhì)迥異的任務(wù)：一類是需深度動態(tài)計算的組合推理任務(wù)，另一類是靜態(tài)知識的檢索任務(wù)。而現(xiàn)有Transformer架構(gòu)缺乏原生知識查找機(jī)制，只能通過低效計算模擬檢索過程——例如在調(diào)用固定知識時，模型仍需耗費(fèi)算力重復(fù)推導(dǎo)，既耗時又占用資源。
為破解這一痛點，DeepSeek團(tuán)隊提出將條件記憶作為補(bǔ)充的稀疏性維度，并通過名為Engram的條件記憶模塊實現(xiàn)這一構(gòu)想，以此優(yōu)化神經(jīng)計算（MoE）與靜態(tài)記憶（Engram）之間的權(quán)衡關(guān)系論文。團(tuán)隊還發(fā)現(xiàn)了“U型縮放定律”，該定律表明，在MoE專家與Engram記憶之間進(jìn)行混合稀疏容量分配，效果顯著優(yōu)于純MoE基準(zhǔn)模型。值得關(guān)注的是，盡管記憶模塊的設(shè)計初衷是提升知識檢索效率，但團(tuán)隊在通用推理、代碼及數(shù)學(xué)等領(lǐng)域均觀察到更為顯著的性能提升。
通俗而言，當(dāng)前MoE模型采用統(tǒng)一機(jī)制處理推理與固定知識存儲兩類任務(wù)，存在效率低下、算力浪費(fèi)等問題論文。此次論文的核心價值在于為大模型實現(xiàn)“分工優(yōu)化”：通過專屬模塊各司其職——由“記憶本”式的Engram模塊負(fù)責(zé)固定知識存儲，推理模塊專注復(fù)雜思考，再通過最優(yōu)比例分配資源，最終實現(xiàn)模型效率與性能的雙重提升。DeepSeek在論文中強(qiáng)調(diào)，條件記憶將成為下一代稀疏模型的核心建模原語，這也讓行業(yè)進(jìn)一步猜測，該技術(shù)或正是DeepSeek V4模型的核心技術(shù)架構(gòu)。
