在人工智能的視頻處理世界里，一直存在著一個(gè)復(fù)雜的"分工體系"大學(xué)。就像一家大工廠，不同的車(chē)間負(fù)責(zé)不同的任務(wù)：有專(zhuān)門(mén)負(fù)責(zé)識(shí)別物體的車(chē)間，有專(zhuān)門(mén)跟蹤物體移動(dòng)的車(chē)間，還有各種各樣的專(zhuān)業(yè)設(shè)備來(lái)處理復(fù)雜的視頻分析工作。這種精細(xì)分工雖然有效，但就像工廠里設(shè)備太多一樣，運(yùn)行起來(lái)既復(fù)雜又緩慢。
然而，來(lái)自埃因霍芬理工大學(xué)和亞琛工業(yè)大學(xué)的研究團(tuán)隊(duì)最近發(fā)現(xiàn)了一個(gè)令人驚訝的秘密：原來(lái)那個(gè)被稱(chēng)為Vision Transformer（簡(jiǎn)稱(chēng)ViT）的AI模型，就像一個(gè)隱藏身份的超級(jí)英雄，除了它已知的圖像分析能力外，竟然還偷偷掌握了視頻分割的超能力大學(xué)。這項(xiàng)突破性研究發(fā)表在2026年的計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議上，論文編號(hào)為arXiv:2602.17807v1，為AI視頻處理領(lǐng)域帶來(lái)了顛覆性的思考。
傳統(tǒng)的視頻分割就像是在看一部電影時(shí)，同時(shí)要做三件事：首先要識(shí)別出畫(huà)面中的每個(gè)物體（比如人、車(chē)、動(dòng)物），然后要給它們分類(lèi)，最后還要追蹤它們?cè)诓煌?huà)面間的移動(dòng)大學(xué)。這就好比你既要當(dāng)偵探找出嫌疑人，又要當(dāng)檔案員給他們分類(lèi)，還要當(dāng)跟蹤專(zhuān)家監(jiān)視他們的行蹤。為了完成這些任務(wù)，現(xiàn)有的AI系統(tǒng)通常需要搭建一套復(fù)雜的"生產(chǎn)線"，包括各種專(zhuān)門(mén)的模塊和組件。
但這種復(fù)雜系統(tǒng)就像一臺(tái)精密但笨重的機(jī)器，雖然功能齊全，卻運(yùn)行緩慢大學(xué)。研究團(tuán)隊(duì)提出了一個(gè)大膽的設(shè)想：既然Vision Transformer在處理靜態(tài)圖像時(shí)表現(xiàn)出色，那么它是否也能處理動(dòng)態(tài)視頻呢？更進(jìn)一步說(shuō)，它能否像一個(gè)多才多藝的全能選手，獨(dú)自完成原本需要整個(gè)團(tuán)隊(duì)協(xié)作的復(fù)雜任務(wù)？
帶著這個(gè)疑問(wèn)，研究團(tuán)隊(duì)開(kāi)始了他們的"拆解實(shí)驗(yàn)"大學(xué)。他們選擇了當(dāng)前最先進(jìn)的視頻分割系統(tǒng)CAVIS作為研究對(duì)象，就像拆解一臺(tái)復(fù)雜機(jī)器一樣，一步步移除那些看似必不可少的專(zhuān)業(yè)組件，觀察系統(tǒng)性能會(huì)發(fā)生什么變化。這個(gè)過(guò)程就像給一臺(tái)跑車(chē)逐一拆掉零件，看看到底哪些部件是真正必需的，哪些可能只是裝飾品。
**一、揭開(kāi)Vision Transformer的隱藏能力**
Vision Transformer原本是為處理靜態(tài)圖像而設(shè)計(jì)的AI模型，就像一個(gè)專(zhuān)門(mén)看照片的專(zhuān)家大學(xué)。但研究團(tuán)隊(duì)發(fā)現(xiàn)，如果給它足夠強(qiáng)大的"訓(xùn)練"和足夠大的"大腦"（參數(shù)規(guī)模），它竟然能夠?qū)W會(huì)處理視頻這種連續(xù)變化的內(nèi)容。這就好比一個(gè)原本只會(huì)畫(huà)靜物素描的藝術(shù)家，經(jīng)過(guò)特殊訓(xùn)練后，居然能夠創(chuàng)作動(dòng)畫(huà)電影。
這種能力的發(fā)現(xiàn)并非偶然大學(xué)。Vision Transformer在訓(xùn)練過(guò)程中使用了一種叫做DINOv2的方法，這種方法有一個(gè)特殊之處：它要求AI對(duì)同一個(gè)物體的不同視角保持一致的理解。就像你從不同角度看一只貓，無(wú)論是正面、側(cè)面還是背面，你都能認(rèn)出這是同一只貓。這種"跨視角一致性"的訓(xùn)練目標(biāo)，意外地讓Vision Transformer獲得了追蹤物體的能力，因?yàn)樽粉櫛举|(zhì)上就是在不同的視頻幀中識(shí)別同一個(gè)物體。
展開(kāi)全文
基于這個(gè)發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了VidEoMT（Video Encoder-only Mask Transformer），這個(gè)名字聽(tīng)起來(lái)很技術(shù)化，但簡(jiǎn)單理解就是"專(zhuān)門(mén)用編碼器做視頻分割的變換器"大學(xué)。與傳統(tǒng)系統(tǒng)的復(fù)雜架構(gòu)不同，VidEoMT就像一個(gè)簡(jiǎn)化版的瑞士軍刀，用一個(gè)核心工具完成原本需要整套設(shè)備才能完成的工作。
VidEoMT的核心創(chuàng)新在于兩個(gè)巧妙的機(jī)制大學(xué)。第一個(gè)叫做"查詢(xún)傳播"，就像接力賽中傳遞接力棒一樣，將前一幀圖像中識(shí)別出的物體信息傳遞給下一幀，確保系統(tǒng)能夠"記住"之前看到的東西。第二個(gè)叫做"查詢(xún)?nèi)诤?，就像調(diào)制雞尾酒一樣，將傳遞過(guò)來(lái)的"舊信息"與新的"學(xué)習(xí)查詢(xún)"混合，既保持了對(duì)已知物體的追蹤，又保留了發(fā)現(xiàn)新物體的能力。
這種設(shè)計(jì)的巧妙之處在于平衡大學(xué)。如果只是簡(jiǎn)單地復(fù)制前一幀的信息，系統(tǒng)就會(huì)像一個(gè)只會(huì)重復(fù)過(guò)去的"老古板"，無(wú)法適應(yīng)新出現(xiàn)的物體。但如果每次都重新開(kāi)始分析，又會(huì)失去時(shí)間連續(xù)性，就像失憶癥患者一樣，每次都不記得之前發(fā)生了什么。查詢(xún)?nèi)诤蠙C(jī)制恰好解決了這個(gè)矛盾，讓系統(tǒng)既有"記憶"又有"學(xué)習(xí)"能力。
**二、從復(fù)雜到簡(jiǎn)單的神奇變化**
研究團(tuán)隊(duì)進(jìn)行的"拆解實(shí)驗(yàn)"過(guò)程就像一場(chǎng)精心設(shè)計(jì)的簡(jiǎn)化之旅大學(xué)。他們從最復(fù)雜的CAVIS系統(tǒng)開(kāi)始，這個(gè)系統(tǒng)就像一座裝滿各種設(shè)備的工廠，包含了分割器、適配器、像素解碼器、變換器解碼器、上下文感知特征提取器、重識(shí)別層等眾多組件。
第一步，研究團(tuán)隊(duì)將復(fù)雜的分割器替換為更簡(jiǎn)單的EoMT（Encoder-only Mask Transformer）大學(xué)。這就像將一條復(fù)雜的汽車(chē)生產(chǎn)線替換為一個(gè)更高效的一體化裝配機(jī)器人。結(jié)果令人驚喜：雖然準(zhǔn)確率只下降了0.8個(gè)百分點(diǎn)，但處理速度卻提升了近3倍，從每秒15幀躍升到42幀。
第二步，他們移除了上下文感知特征模塊大學(xué)。這個(gè)模塊原本的作用是提取每個(gè)物體周?chē)沫h(huán)境信息，就像給每個(gè)演員配一個(gè)專(zhuān)門(mén)觀察周?chē)闆r的助手。移除這個(gè)模塊后，處理速度進(jìn)一步提升到每秒72幀，而準(zhǔn)確率不僅沒(méi)有下降，反而略有提升。這個(gè)結(jié)果表明，強(qiáng)大的Vision Transformer已經(jīng)能夠自動(dòng)捕捉和利用周?chē)h(huán)境信息，不再需要專(zhuān)門(mén)的輔助模塊。
第三步，研究團(tuán)隊(duì)移除了重識(shí)別層大學(xué)。這些層原本負(fù)責(zé)確保同一個(gè)物體在不同幀中被識(shí)別為同一個(gè)對(duì)象，就像給每個(gè)人發(fā)一張身份證。移除后，速度提升到每秒74幀，準(zhǔn)確率基本保持不變。這說(shuō)明Vision Transformer在大規(guī)模預(yù)訓(xùn)練的幫助下，已經(jīng)具備了足夠強(qiáng)的特征表示能力，能夠自然地保持物體身份的一致性。
第四步是最關(guān)鍵的一步：完全移除追蹤模塊大學(xué)。這相當(dāng)于讓系統(tǒng)完全"失憶"，每一幀都當(dāng)作全新的圖像來(lái)處理。雖然這導(dǎo)致準(zhǔn)確率下降了7.6個(gè)百分點(diǎn)，但處理速度達(dá)到了驚人的每秒162幀，比原始系統(tǒng)快了10倍以上。更有趣的是，即使沒(méi)有任何追蹤機(jī)制，系統(tǒng)仍然保持了相當(dāng)?shù)臏?zhǔn)確性，這表明Vision Transformer確實(shí)具備某種內(nèi)在的時(shí)間一致性能力。
最后兩步是VidEoMT的關(guān)鍵創(chuàng)新大學(xué)。第五步引入查詢(xún)傳播機(jī)制，通過(guò)將前一幀的查詢(xún)結(jié)果傳遞給當(dāng)前幀，重新建立了時(shí)間連接。這讓準(zhǔn)確率回升了2.6個(gè)百分點(diǎn)，而且沒(méi)有增加任何計(jì)算成本。第六步加入查詢(xún)?nèi)诤蠙C(jī)制，最終讓系統(tǒng)的準(zhǔn)確率幾乎恢復(fù)到了原始水平，同時(shí)保持超過(guò)10倍的速度優(yōu)勢(shì)。
**三、性能表現(xiàn)超乎想象**
VidEoMT在多個(gè)標(biāo)準(zhǔn)測(cè)試集上的表現(xiàn)就像一匹突然殺出的黑馬，不僅速度驚人，準(zhǔn)確性也絲毫不遜色大學(xué)。在YouTube-VIS數(shù)據(jù)集上，VidEoMT達(dá)到了每秒160幀的處理速度，這意味著它可以實(shí)時(shí)處理高質(zhì)量視頻，甚至還有余力處理多路視頻流。
更令人印象深刻的是速度與準(zhǔn)確性的平衡大學(xué)。傳統(tǒng)觀念認(rèn)為，速度和準(zhǔn)確性往往是一對(duì)矛盾，就像開(kāi)車(chē)時(shí)速度越快越容易出事故。但VidEoMT打破了這個(gè)常規(guī)，在獲得10倍速度提升的同時(shí)，準(zhǔn)確率損失微乎其微，有些情況下甚至還有所提升。
在視頻實(shí)例分割任務(wù)中，VidEoMT在YouTube-VIS 2019數(shù)據(jù)集上獲得了68.6的AP分?jǐn)?shù)，僅比最先進(jìn)的CAVIS系統(tǒng)低0.3分，但速度卻是后者的10倍以上大學(xué)。在更具挑戰(zhàn)性的OVIS數(shù)據(jù)集上，VidEoMT的表現(xiàn)同樣出色，準(zhǔn)確率與頂級(jí)系統(tǒng)的差距控制在2個(gè)百分點(diǎn)以?xún)?nèi)，但速度優(yōu)勢(shì)依然明顯。
VidEoMT的優(yōu)勢(shì)還體現(xiàn)在不同規(guī)模模型上的一致性表現(xiàn)大學(xué)。無(wú)論是大型的ViT-L模型，還是中型的ViT-B模型，甚至是小型的ViT-S模型，VidEoMT都能保持顯著的速度優(yōu)勢(shì)。特別值得注意的是，即使是配備小型ViT-S骨干網(wǎng)絡(luò)的VidEoMT，其速度也能達(dá)到每秒294幀，比配備相同規(guī)模骨干網(wǎng)絡(luò)的CAVIS快15倍以上。
在視頻全景分割和語(yǔ)義分割任務(wù)上，VidEoMT同樣表現(xiàn)出色大學(xué)。在VIPSeg數(shù)據(jù)集上，雖然VPQ分?jǐn)?shù)略低于最強(qiáng)的基線系統(tǒng)1.7分，但速度提升了19倍。在VSPW數(shù)據(jù)集上，VidEoMT不僅在速度上大幅領(lǐng)先，在準(zhǔn)確性指標(biāo)上也實(shí)現(xiàn)了超越，mIoU提升了2.1分，時(shí)間一致性提升了0.8分。
**四、技術(shù)創(chuàng)新的深層機(jī)制**
VidEoMT成功的關(guān)鍵在于深刻理解了Vision Transformer的內(nèi)在能力大學(xué)。傳統(tǒng)方法就像是給一個(gè)天才學(xué)生安排了過(guò)多的輔導(dǎo)老師，每個(gè)老師負(fù)責(zé)一個(gè)特定科目，結(jié)果反而限制了學(xué)生的全面發(fā)展。VidEoMT則像是讓這個(gè)天才學(xué)生自由發(fā)揮，結(jié)果發(fā)現(xiàn)他原本就具備跨學(xué)科整合的能力。
查詢(xún)傳播機(jī)制的設(shè)計(jì)體現(xiàn)了對(duì)時(shí)間序列數(shù)據(jù)的深入理解大學(xué)。在視頻處理中，相鄰幀之間往往存在很強(qiáng)的相關(guān)性，就像連環(huán)畫(huà)中相鄰兩頁(yè)的內(nèi)容通常是連續(xù)的。通過(guò)將前一幀的查詢(xún)直接傳遞給下一幀，系統(tǒng)能夠有效利用這種時(shí)間相關(guān)性，避免重復(fù)計(jì)算。
查詢(xún)?nèi)诤蠙C(jī)制則解決了傳播過(guò)程中的"信息退化"問(wèn)題大學(xué)。如果只是簡(jiǎn)單地傳遞查詢(xún)，就像玩?zhèn)髟捰螒蛞粯?，信息?huì)逐漸失真。融合機(jī)制通過(guò)引入新的學(xué)習(xí)查詢(xún)，就像在傳話過(guò)程中不斷注入新的信息源，確保系統(tǒng)始終保持對(duì)新事物的敏感性。
更深層的技術(shù)洞察在于對(duì)Vision Transformer預(yù)訓(xùn)練目標(biāo)的重新理解大學(xué)。DINOv2等預(yù)訓(xùn)練方法雖然是為靜態(tài)圖像設(shè)計(jì)的，但它們追求的"視角不變性"特征恰好為視頻處理提供了天然優(yōu)勢(shì)。這種特征讓模型能夠識(shí)別同一物體在不同時(shí)間、不同角度、不同光照條件下的一致性，這正是視頻追蹤任務(wù)的核心需求。
研究還發(fā)現(xiàn)，模型規(guī)模和預(yù)訓(xùn)練質(zhì)量對(duì)VidEoMT的性能有決定性影響大學(xué)。較大的模型和更高質(zhì)量的預(yù)訓(xùn)練權(quán)重能夠顯著縮小與傳統(tǒng)復(fù)雜方法的性能差距。這一發(fā)現(xiàn)驗(yàn)證了研究團(tuán)隊(duì)的核心假設(shè)：足夠強(qiáng)大的基礎(chǔ)模型能夠?qū)W會(huì)原本需要專(zhuān)門(mén)設(shè)計(jì)的復(fù)雜功能。
**五、應(yīng)用前景與實(shí)際意義**
VidEoMT的突破性表現(xiàn)為實(shí)際應(yīng)用開(kāi)辟了新的可能性大學(xué)。在智能監(jiān)控領(lǐng)域，傳統(tǒng)的視頻分析系統(tǒng)往往需要昂貴的專(zhuān)用硬件來(lái)支撐復(fù)雜的算法，而VidEoMT的高效性使得在普通硬件上實(shí)現(xiàn)實(shí)時(shí)視頻分析成為可能。這就像將原本需要超級(jí)計(jì)算機(jī)才能完成的任務(wù)，壓縮到普通電腦上就能運(yùn)行。
在自動(dòng)駕駛領(lǐng)域，實(shí)時(shí)的環(huán)境感知是安全駕駛的基礎(chǔ)大學(xué)。VidEoMT每秒160幀的處理能力意味著它能夠以超越人眼的速度識(shí)別和追蹤道路上的行人、車(chē)輛和其他障礙物。更重要的是，由于系統(tǒng)的簡(jiǎn)化設(shè)計(jì)，它在車(chē)載計(jì)算平臺(tái)上的部署會(huì)更加容易和穩(wěn)定。
在內(nèi)容創(chuàng)作和媒體制作方面，VidEoMT可以大大降低視頻后期處理的成本和時(shí)間大學(xué)。原本需要專(zhuān)業(yè)團(tuán)隊(duì)花費(fèi)數(shù)小時(shí)完成的視頻分割和追蹤工作，現(xiàn)在可能在幾分鐘內(nèi)就能自動(dòng)完成。這種效率提升對(duì)于短視頻創(chuàng)作、直播互動(dòng)、虛擬現(xiàn)實(shí)等新興應(yīng)用領(lǐng)域具有重要意義。
醫(yī)學(xué)影像分析是另一個(gè)潛在的重要應(yīng)用領(lǐng)域大學(xué)。在手術(shù)視頻分析、病理切片序列分析等場(chǎng)景中，準(zhǔn)確的對(duì)象分割和追蹤對(duì)于輔助診斷和治療具有重要價(jià)值。VidEoMT的高效性和準(zhǔn)確性使得這些應(yīng)用能夠在更多醫(yī)療機(jī)構(gòu)中普及，而不僅僅局限于擁有昂貴設(shè)備的大型醫(yī)院。
從更宏觀的角度看，VidEoMT的成功驗(yàn)證了"大模型簡(jiǎn)化復(fù)雜系統(tǒng)"的技術(shù)路線大學(xué)。這種思路正在人工智能的多個(gè)領(lǐng)域得到驗(yàn)證，表明我們可能正處于一個(gè)從"復(fù)雜工程"向"智能簡(jiǎn)化"轉(zhuǎn)變的技術(shù)拐點(diǎn)。
**六、研究的更深層啟示**
這項(xiàng)研究的意義遠(yuǎn)超技術(shù)本身，它揭示了人工智能發(fā)展的一個(gè)重要趨勢(shì)：隨著基礎(chǔ)模型能力的增強(qiáng)，許多原本需要復(fù)雜系統(tǒng)設(shè)計(jì)的問(wèn)題可能會(huì)有更簡(jiǎn)單優(yōu)雅的解決方案大學(xué)。這就像是發(fā)現(xiàn)了一條通往山頂?shù)男侣窂?，雖然之前的復(fù)雜路線也能到達(dá)目的地，但新路徑更直接、更高效。
研究團(tuán)隊(duì)還進(jìn)行了大量的對(duì)照實(shí)驗(yàn)來(lái)驗(yàn)證他們的假設(shè)大學(xué)。他們發(fā)現(xiàn)，預(yù)訓(xùn)練的規(guī)模和質(zhì)量對(duì)VidEoMT的性能有決定性影響。使用小規(guī)模預(yù)訓(xùn)練權(quán)重時(shí)，VidEoMT與傳統(tǒng)方法的差距較大；但當(dāng)使用大規(guī)模、高質(zhì)量的預(yù)訓(xùn)練權(quán)重時(shí)，這種差距就會(huì)顯著縮小甚至消失。這一發(fā)現(xiàn)強(qiáng)調(diào)了基礎(chǔ)模型預(yù)訓(xùn)練在下游任務(wù)中的關(guān)鍵作用。
模型規(guī)模的影響也很明顯大學(xué)。較小的ViT-S模型雖然速度更快，但準(zhǔn)確性相對(duì)較低；較大的ViT-L模型在準(zhǔn)確性上表現(xiàn)更好，同時(shí)仍能保持顯著的速度優(yōu)勢(shì)。這種規(guī)律為實(shí)際應(yīng)用中的模型選擇提供了重要參考：可以根據(jù)具體應(yīng)用場(chǎng)景對(duì)速度和準(zhǔn)確性的不同要求，選擇合適規(guī)模的模型。
研究還對(duì)比了不同的時(shí)序建模策略，包括在解碼器中進(jìn)行查詢(xún)傳播的替代方案大學(xué)。結(jié)果表明，VidEoMT的編碼器內(nèi)查詢(xún)傳播方案不僅更簡(jiǎn)單，而且在效率和準(zhǔn)確性的平衡上也更優(yōu)秀。這進(jìn)一步證實(shí)了"簡(jiǎn)單即是美"的設(shè)計(jì)哲學(xué)在人工智能系統(tǒng)中的適用性。
**七、面向未來(lái)的思考**
VidEoMT的成功提出了一個(gè)有趣的問(wèn)題：在人工智能快速發(fā)展的今天，我們是否應(yīng)該重新審視那些看似必要的復(fù)雜設(shè)計(jì)？許多領(lǐng)域的研究者花費(fèi)大量精力設(shè)計(jì)復(fù)雜的專(zhuān)用模塊，但這些模塊的功能可能已經(jīng)被強(qiáng)大的基礎(chǔ)模型內(nèi)化了大學(xué)。
這種趨勢(shì)在其他人工智能領(lǐng)域也有所體現(xiàn)大學(xué)。自然語(yǔ)言處理領(lǐng)域的大型語(yǔ)言模型展現(xiàn)出了處理多種任務(wù)的統(tǒng)一能力，計(jì)算機(jī)視覺(jué)領(lǐng)域的視覺(jué)基礎(chǔ)模型也在向類(lèi)似方向發(fā)展。VidEoMT的成功可能預(yù)示著視頻理解領(lǐng)域也將迎來(lái)類(lèi)似的統(tǒng)一化趨勢(shì)。
當(dāng)然，這種簡(jiǎn)化并不意味著所有復(fù)雜設(shè)計(jì)都是不必要的大學(xué)。在某些特定場(chǎng)景或極端性能要求下，專(zhuān)門(mén)設(shè)計(jì)的模塊仍然可能有其價(jià)值。關(guān)鍵是要在系統(tǒng)復(fù)雜性和性能收益之間找到合適的平衡點(diǎn)，避免過(guò)度工程化。
從工程實(shí)踐的角度看，VidEoMT的簡(jiǎn)化設(shè)計(jì)也帶來(lái)了維護(hù)性和可擴(kuò)展性的優(yōu)勢(shì)大學(xué)。復(fù)雜系統(tǒng)往往容易出現(xiàn)各種意外問(wèn)題，而簡(jiǎn)單系統(tǒng)更容易調(diào)試、優(yōu)化和部署。這種優(yōu)勢(shì)在實(shí)際產(chǎn)品開(kāi)發(fā)中的價(jià)值可能不亞于性能提升本身。
說(shuō)到底，這項(xiàng)研究最大的價(jià)值可能在于改變了我們對(duì)問(wèn)題的思考方式大學(xué)。面對(duì)復(fù)雜任務(wù)時(shí)，我們的第一反應(yīng)不應(yīng)該總是設(shè)計(jì)更復(fù)雜的系統(tǒng)，而是要先思考是否有更簡(jiǎn)單直接的解決路徑。正如這次研究所展示的，有時(shí)候最優(yōu)雅的解決方案就隱藏在最基礎(chǔ)的工具中，關(guān)鍵是要有發(fā)現(xiàn)和挖掘的眼光。
VidEoMT的故事告訴我們，在人工智能這個(gè)快速發(fā)展的領(lǐng)域，保持開(kāi)放的心態(tài)和勇于挑戰(zhàn)傳統(tǒng)的精神是非常重要的大學(xué)。誰(shuí)知道下一個(gè)"隱藏的超能力"會(huì)在哪里被發(fā)現(xiàn)呢？對(duì)于那些對(duì)這項(xiàng)研究感興趣的讀者，可以通過(guò)論文編號(hào)arXiv:2602.17807v1查閱完整的技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果。
Q&A
Q1：VidEoMT比傳統(tǒng)視頻分割方法快多少大學(xué)？
A：VidEoMT比傳統(tǒng)方法快5到10倍，在某些情況下甚至能達(dá)到10倍以上的速度提升大學(xué)。比如與CAVIS系統(tǒng)相比，VidEoMT能達(dá)到每秒160幀的處理速度，而CAVIS只有每秒15幀，同時(shí)準(zhǔn)確率幾乎沒(méi)有損失。
Q2：Vision Transformer原本不是做視頻的大學(xué)，怎么能處理視頻分割？
A：研究發(fā)現(xiàn)Vision Transformer在預(yù)訓(xùn)練時(shí)學(xué)會(huì)了"跨視角一致性"，也就是能從不同角度識(shí)別同一個(gè)物體大學(xué)。這種能力恰好適用于視頻中的物體追蹤，因?yàn)樽粉櫛举|(zhì)上就是在不同時(shí)間的畫(huà)面中識(shí)別同一個(gè)物體。
Q3：VidEoMT的查詢(xún)?nèi)诤蠙C(jī)制是怎么工作的大學(xué)？
A：查詢(xún)?nèi)诤暇拖裾{(diào)制雞尾酒，將前一幀傳遞過(guò)來(lái)的"舊信息"與新的"學(xué)習(xí)查詢(xún)"混合大學(xué)。這樣既保持了對(duì)已知物體的追蹤記憶，又保留了發(fā)現(xiàn)新出現(xiàn)物體的能力，避免系統(tǒng)變成只會(huì)重復(fù)過(guò)去的"老古板"。
