觀點(diǎn)網(wǎng)訊:2月27日,DeepSeek團(tuán)隊發(fā)布了一篇新的學(xué)術(shù)論文論文。
這篇論文由DeepSeek聯(lián)合北大、清華共同撰寫,將研究方向投向了決定大模型實(shí)際應(yīng)用落地的關(guān)鍵一環(huán)——推理速度,為日益復(fù)雜的AI智能體,提供一套高效的底層系統(tǒng)解決方案論文。
具體來說,新論文介紹了一個名為DualPath的創(chuàng)新推理系統(tǒng),專門針對智能體工作負(fù)載下的大模型(LLM)推理性能進(jìn)行優(yōu)化論文。通過引入“雙路徑讀取KV-Cache(類似記憶緩存)”機(jī)制,重新分配存儲網(wǎng)絡(luò)負(fù)載,將離線推理吞吐量最高提升1.87倍,在線服務(wù)的每秒智能體運(yùn)行數(shù)平均提升1.96倍。
論文在引言部分提到,大模型正從單輪對話機(jī)器人和獨(dú)立推理模型,快速演進(jìn)為智能體系統(tǒng) ——能夠自主規(guī)劃、調(diào)用工具,并通過多輪交互解決實(shí)際任務(wù)論文。這種應(yīng)用范式的轉(zhuǎn)變,推動大模型推理工作負(fù)載發(fā)生重大變革:從傳統(tǒng)的人類-大模型交互,轉(zhuǎn)向人類-大模型-環(huán)境交互,交互輪次可達(dá)數(shù)十甚至數(shù)百輪。
免責(zé)聲明:本文內(nèi)容與數(shù)據(jù)由觀點(diǎn)根據(jù)公開信息整理,不構(gòu)成投資建議,使用前請核實(shí)論文。