鈦媒體App 3月17日消息,月之暗面 Kimi官方賬號發(fā)布微博,回應(yīng)馬斯克點贊其最新技術(shù)報告,稱“你的火箭造得也不錯!” 昨天,月之暗面發(fā)布名為 《Attention Residuals》(注意力殘差)的全新深度網(wǎng)絡(luò)架構(gòu)組件,重構(gòu)了Transformer模型在深度方向上的信息流動方式,對大模型十年沒有根本性變化的核心結(jié)構(gòu)殘差連接進行了重新設(shè)計論文。當日,馬斯克在社交媒體評論“Kimi 這項研究干得漂亮”。(廣角觀察)