3月17日,Kimi官方賬號回應馬斯克在X平臺對其Attention Residuals技術(shù)報告的點贊,幽默稱“你的火箭造得也不錯!”論文。此前馬斯克發(fā)文稱“Kimi這項研究干得漂亮”。Attention Residuals是Kimi發(fā)布的全新深度網(wǎng)絡(luò)架構(gòu)組件,重構(gòu)了Transformer模型在深度
鈦媒體App 3月17日消息,月之暗面 Kimi官方賬號發(fā)布微博,回應馬斯克點贊其最新技術(shù)報告,稱“你的火箭造得也不錯!” 昨天,月之暗面發(fā)布名為 《Attention Residuals》(注意力殘差)的全新深度網(wǎng)絡(luò)架構(gòu)組件,重構(gòu)了Transformer模型在深度方向上的信息流動方式,對大模型十年