國家知識(shí)產(chǎn)權(quán)局信息顯示，中電信人工智能科技（北京）有限公司申請(qǐng)一項(xiàng)名為“并行推理方法、裝置、非易失性存儲(chǔ)介質(zhì)及電子設(shè)備”的專利，公開號(hào)CN121480716A，申請(qǐng)日期為2025年11月科技。
專利摘要顯示，本申請(qǐng)公開了一種并行推理方法、裝置、非易失性存儲(chǔ)介質(zhì)及電子設(shè)備科技。該方法包括：將生成式模型的推理過程劃分為多個(gè)計(jì)算階段，在至少一個(gè)計(jì)算階段設(shè)置早退出點(diǎn)；模型推理流水線中的每個(gè)計(jì)算階段串行執(zhí)行計(jì)算，并在計(jì)算推進(jìn)至早退出點(diǎn)的情況下，觸發(fā)并行執(zhí)行模式；在并行執(zhí)行模式下，設(shè)置有早退出點(diǎn)的當(dāng)前計(jì)算階段通過早退輸出層生成投機(jī)草稿令牌，并將投機(jī)草稿令牌與已生成的輸出令牌序列進(jìn)行拼接；同時(shí)，當(dāng)前計(jì)算階段的后續(xù)計(jì)算階段執(zhí)行后續(xù)網(wǎng)絡(luò)層的前向計(jì)算，以對(duì)投機(jī)草稿令牌進(jìn)行驗(yàn)證；判斷是否將投機(jī)草稿令牌確定為有效輸出。本申請(qǐng)解決了由于基于早退出的自投機(jī)解碼在生成令牌時(shí)無法即時(shí)驗(yàn)證正確性，造成的模型推理效率較低的技術(shù)問題。
天眼查資料顯示，中電信人工智能科技（北京）有限公司，成立于2023年，位于北京市，是一家以從事電信、廣播電視和衛(wèi)星傳輸服務(wù)為主的企業(yè)科技。企業(yè)注冊(cè)資本300000萬人民幣。通過天眼查大數(shù)據(jù)分析，中電信人工智能科技（北京）有限公司共對(duì)外投資了1家企業(yè)，參與招投標(biāo)項(xiàng)目978次，專利信息514條，此外企業(yè)還擁有行政許可1個(gè)。
聲明：市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎科技。本文為AI基于第三方數(shù)據(jù)生成，僅供參考，不構(gòu)成個(gè)人投資建議。
來源科技：市場(chǎng)資訊
