在業(yè)界對新一代旗艦?zāi)P虳eepSeek V4的翹首期盼中,DeepSeek團隊卻悄然放出了一篇新的學(xué)術(shù)論文論文。這篇論文由DeepSeek聯(lián)合北大、清華共同撰寫,將研究方向投向了決定大模型實際應(yīng)用落地的關(guān)鍵一環(huán)——推理速度,為日益復(fù)雜的AI智能體,提供一套高效的底層系統(tǒng)解決方案。
具體來說,新論文介紹了一個名為DualPath的創(chuàng)新推理系統(tǒng),專門針對智能體工作負載下的大模型(LLM)推理性能進行優(yōu)化論文。通過引入“雙路徑讀取KV-Cache(類似記憶緩存)”機制,重新分配存儲網(wǎng)絡(luò)負載,將離線推理吞吐量最高提升1.87倍,在線服務(wù)的每秒智能體運行數(shù)平均提升1.96倍。(第一財經(jīng)記者 劉曉潔)