Inception公司推出了Mercury 2，聲稱這是世界上最快的推理型大語(yǔ)言模型快速。該模型專為生產(chǎn)級(jí)AI應(yīng)用設(shè)計(jì)，采用并行優(yōu)化而非傳統(tǒng)的順序解碼技術(shù)。
Mercury 2于2月24日正式發(fā)布，開(kāi)發(fā)者可通過(guò)Inception官網(wǎng)申請(qǐng)?jiān)L問(wèn)權(quán)限，也可以通過(guò)Inception聊天界面體驗(yàn)這款模型快速。
Inception表示，Mercury 2旨在解決大語(yǔ)言模型常見(jiàn)的瓶頸問(wèn)題，即自回歸順序解碼的限制快速。該模型通過(guò)并行優(yōu)化生成響應(yīng)，這一過(guò)程能夠同時(shí)產(chǎn)生多個(gè)Token，并在少數(shù)幾個(gè)步驟內(nèi)實(shí)現(xiàn)收斂。根據(jù)公告，并行優(yōu)化不僅大幅提升了生成速度，還改變了推理權(quán)衡機(jī)制。
通常情況下，更高的智能水平意味著測(cè)試時(shí)需要更多計(jì)算資源，包括更長(zhǎng)的鏈條、更多樣本和更多重試，這些都會(huì)導(dǎo)致更高的延遲和成本快速。Mercury 2采用基于擴(kuò)散的推理技術(shù)，在實(shí)時(shí)延遲預(yù)算范圍內(nèi)提供推理級(jí)別的質(zhì)量。
該公司表示，Mercury 2與OpenAI API兼容，特別適用于對(duì)延遲敏感且用戶體驗(yàn)要求極高的應(yīng)用場(chǎng)景快速。主要用例包括代碼編寫(xiě)和編輯、智能體循環(huán)、實(shí)時(shí)語(yǔ)音和交互，以及搜索和RAG操作管道。
Q&A
Q1：Mercury 2是什么快速？有什么特別之處？
A：Mercury 2是Inception公司開(kāi)發(fā)的大語(yǔ)言模型，被稱為世界上最快的推理型大語(yǔ)言模型快速。它的特別之處在于采用并行優(yōu)化技術(shù)而非傳統(tǒng)的順序解碼，能夠同時(shí)產(chǎn)生多個(gè)Token，大幅提升生成速度并降低延遲。
Q2：Mercury 2適合哪些應(yīng)用場(chǎng)景快速？
A：Mercury 2特別適用于對(duì)延遲敏感且用戶體驗(yàn)要求極高的應(yīng)用場(chǎng)景，包括代碼編寫(xiě)和編輯、智能體循環(huán)、實(shí)時(shí)語(yǔ)音和交互，以及搜索和RAG操作管道等生產(chǎn)級(jí)AI應(yīng)用快速。
Q3：如何使用Mercury 2快速？
A：開(kāi)發(fā)者可以通過(guò)Inception公司官網(wǎng)申請(qǐng)?jiān)L問(wèn)權(quán)限，也可以通過(guò)Inception聊天界面體驗(yàn)該模型快速。Mercury 2與OpenAI API兼容，便于開(kāi)發(fā)者集成到現(xiàn)有系統(tǒng)中。
