GPTZero作為一款A(yù)I輸出檢測(cè)工具，再次發(fā)現(xiàn)科學(xué)家們因依賴(lài)不可靠的AI助手而損害了自己的可信度論文。
這家位于紐約的公司在神經(jīng)信息處理系統(tǒng)會(huì)議(NeurIPS)接受的51篇論文中識(shí)別出了100個(gè)幻覺(jué)內(nèi)容論文。此前，該公司還在國(guó)際學(xué)習(xí)表征會(huì)議(ICLR)的審查論文中發(fā)現(xiàn)了50個(gè)虛假引用。
GPTZero的高級(jí)機(jī)器學(xué)習(xí)工程師Nazar Shmatko、機(jī)器學(xué)習(xí)負(fù)責(zé)人Alex Adam和學(xué)術(shù)寫(xiě)作編輯Paul Esau在博客文章中指出，生成式AI工具的普及引發(fā)了"AI垃圾內(nèi)容的海嘯"論文。
他們觀察到："在2020年到2025年間，NeurIPS的投稿量從9467篇增長(zhǎng)到21575篇，增幅超過(guò)220%論文。為了應(yīng)對(duì)這種情況，組織者不得不招募更多審稿人，導(dǎo)致了監(jiān)督、專(zhuān)業(yè)匹配、疏忽甚至欺詐等問(wèn)題。"
這些幻覺(jué)內(nèi)容主要包括生成式AI模型虛構(gòu)的作者和資源，以及所謂的AI生成文本論文。
法律界也面臨類(lèi)似問(wèn)題論文。已有超過(guò)800個(gè)錯(cuò)誤的法律引用被標(biāo)記為AI模型生成，通常對(duì)涉及的律師、法官或原告造成后果。
學(xué)者們可能不會(huì)面臨與法律專(zhuān)業(yè)人士相同的不當(dāng)行為制裁，但草率應(yīng)用AI的后果不僅僅是誠(chéng)信喪失論文。
AI論文提交量激增的同時(shí)，學(xué)術(shù)論文中實(shí)質(zhì)性錯(cuò)誤的數(shù)量也在增加——如錯(cuò)誤公式、計(jì)算錯(cuò)誤、圖表錯(cuò)誤等，而不僅僅是引用不存在的資源材料論文。
Together AI、NEC美國(guó)實(shí)驗(yàn)室、羅格斯大學(xué)和斯坦福大學(xué)的研究人員在2025年12月發(fā)表的預(yù)印本論文中，專(zhuān)門(mén)研究了三個(gè)主要機(jī)器學(xué)習(xí)組織的AI論文：ICLR(2018-2025)、NeurIPS(2021-2025)和TMLR(機(jī)器學(xué)習(xí)研究期刊)(2022-2025)論文。
研究者發(fā)現(xiàn)："已發(fā)表的論文包含相當(dāng)數(shù)量的客觀錯(cuò)誤，每篇論文的平均錯(cuò)誤數(shù)量隨時(shí)間增加——從2021年NeurIPS的3.8個(gè)增加到2025年的5.9個(gè)(增長(zhǎng)55.3%)；從2018年ICLR的4.1個(gè)增加到2025年的5.2個(gè)；從2022/23年TMLR的5.0個(gè)增加到2025年的5.5個(gè)論文。"
展開(kāi)全文
雖然相關(guān)性不等于因果關(guān)系，但當(dāng)NeurIPS論文的錯(cuò)誤率在OpenAI的ChatGPT推出后增長(zhǎng)了55.3%時(shí)，生成式AI工具的快速采用不容忽視論文。對(duì)科學(xué)家來(lái)說(shuō)，不加檢查地使用AI的風(fēng)險(xiǎn)不僅僅是聲譽(yù)受損，還可能使他們的工作失效。
GPTZero認(rèn)為其幻覺(jué)檢查軟件應(yīng)該成為出版商AI檢測(cè)工具的一部分論文。這可能有助于確定引用是否指向真實(shí)研究，但也存在聲稱(chēng)能使AI創(chuàng)作更難被檢測(cè)的對(duì)策。例如，一個(gè)名為Humanizer的Claude代碼技能聲稱(chēng)它"移除文本中AI生成寫(xiě)作的痕跡，使其聽(tīng)起來(lái)更自然、更人性化"。還有許多其他反取證選項(xiàng)。
國(guó)際科學(xué)、技術(shù)和醫(yī)學(xué)出版商協(xié)會(huì)(STM)最近的報(bào)告試圖解決學(xué)術(shù)界面臨的誠(chéng)信挑戰(zhàn)論文。報(bào)告顯示，2024年學(xué)術(shù)交流達(dá)到570萬(wàn)篇文章，比五年前的390萬(wàn)篇有所增加。報(bào)告認(rèn)為，出版實(shí)踐和政策需要適應(yīng)AI輔助和AI制造研究的現(xiàn)實(shí)。
"學(xué)術(shù)出版商絕對(duì)意識(shí)到了這個(gè)問(wèn)題，正在采取措施保護(hù)自己，"撤稿觀察網(wǎng)站的聯(lián)合創(chuàng)始人Adam Marcus在給The Register的郵件中說(shuō)道，該網(wǎng)站記錄了許多與AI相關(guān)的撤稿論文。"但這些措施是否會(huì)成功還有待觀察。我們正處于AI軍備競(jìng)賽中，防守方能否抵御圍攻尚不清楚。然而，同樣重要的是要認(rèn)識(shí)到，出版商通過(guò)采用優(yōu)先考慮數(shù)量而非質(zhì)量的商業(yè)模式，使自己容易受到這些攻擊。他們遠(yuǎn)非無(wú)辜受害者。"
Q&A
Q1：GPTZero在學(xué)術(shù)論文中發(fā)現(xiàn)了什么問(wèn)題論文？
A：GPTZero在神經(jīng)信息處理系統(tǒng)會(huì)議(NeurIPS)接受的51篇論文中識(shí)別出了100個(gè)AI幻覺(jué)內(nèi)容，主要包括生成式AI模型虛構(gòu)的作者和資源，以及所謂的AI生成文本論文。此前還在國(guó)際學(xué)習(xí)表征會(huì)議(ICLR)的審查論文中發(fā)現(xiàn)了50個(gè)虛假引用。
Q2：學(xué)術(shù)論文中的錯(cuò)誤率有什么變化趨勢(shì)論文？
A：研究顯示學(xué)術(shù)論文中的錯(cuò)誤數(shù)量在增加論文。NeurIPS論文的平均錯(cuò)誤數(shù)從2021年的3.8個(gè)增加到2025年的5.9個(gè)，增長(zhǎng)了55.3%。這種增長(zhǎng)趨勢(shì)與ChatGPT等生成式AI工具的普及時(shí)間相吻合。
Q3：如何解決學(xué)術(shù)論文中的AI幻覺(jué)問(wèn)題論文？
A：GPTZero建議將其幻覺(jué)檢查軟件作為出版商AI檢測(cè)工具的一部分論文。同時(shí)，學(xué)術(shù)出版商正在采取措施保護(hù)自己，但效果還有待觀察。報(bào)告認(rèn)為出版實(shí)踐和政策需要適應(yīng)AI輔助研究的現(xiàn)實(shí)。
