國家知識產(chǎn)權(quán)局信息顯示，中電信人工智能科技（北京）有限公司申請一項名為“并行推理方法、裝置、非易失性存儲介質(zhì)及電子設(shè)備”的專利，公開號CN121480716A，申請日期為2025年11月科技。
專利摘要顯示，本申請公開了一種并行推理方法、裝置、非易失性存儲介質(zhì)及電子設(shè)備科技。該方法包括：將生成式模型的推理過程劃分為多個計算階段，在至少一個計算階段設(shè)置早退出點；模型推理流水線中的每個計算階段串行執(zhí)行計算，并在計算推進(jìn)至早退出點的情況下，觸發(fā)并行執(zhí)行模式；在并行執(zhí)行模式下，設(shè)置有早退出點的當(dāng)前計算階段通過早退輸出層生成投機(jī)草稿令牌，并將投機(jī)草稿令牌與已生成的輸出令牌序列進(jìn)行拼接；同時，當(dāng)前計算階段的后續(xù)計算階段執(zhí)行后續(xù)網(wǎng)絡(luò)層的前向計算，以對投機(jī)草稿令牌進(jìn)行驗證；判斷是否將投機(jī)草稿令牌確定為有效輸出。本申請解決了由于基于早退出的自投機(jī)解碼在生成令牌時無法即時驗證正確性，造成的模型推理效率較低的技術(shù)問題。
天眼查資料顯示，中電信人工智能科技（北京）有限公司，成立于2023年，位于北京市，是一家以從事電信、廣播電視和衛(wèi)星傳輸服務(wù)為主的企業(yè)科技。企業(yè)注冊資本300000萬人民幣。通過天眼查大數(shù)據(jù)分析，中電信人工智能科技（北京）有限公司共對外投資了1家企業(yè)，參與招投標(biāo)項目978次，專利信息514條，此外企業(yè)還擁有行政許可1個。
聲明：市場有風(fēng)險，投資需謹(jǐn)慎科技。本文為AI基于第三方數(shù)據(jù)生成，僅供參考，不構(gòu)成個人投資建議。
來源科技：市場資訊
