AI工具狂掃論文錯誤，黑塑料毒性風(fēng)波后，兩大項目崛起。雖助減肥假與錯，專家卻憂誤判傷人，未來是救星還是累贅？
去年末，全球媒體吵得沸沸揚揚，說黑塑料廚具含致癌阻燃劑，風(fēng)險超標(biāo)。可沒多久就發(fā)現(xiàn)，這不過是研究里一個數(shù)學(xué)失誤鬧的烏龍——關(guān)鍵化學(xué)物質(zhì)含量其實比安全線低十倍。眼尖的研究者立馬指出，人工智能(AI)幾秒鐘就能揪出這錯。這事兒一出，立馬點燃了兩個用AI查科學(xué)文獻(xiàn)錯誤的項目的熱情。
先說“黑鏟子項目”，這是個開源AI工具，已經(jīng)翻看了500多篇論文找茬。項目協(xié)調(diào)者、哥倫比亞卡塔赫納的獨立AI研究者 Joaquin Gulloso 說，他們有八個活躍開發(fā)者和幾百個志愿者顧問，眼下還沒公開錯誤清單，而是私下聯(lián)系作者?！耙呀?jīng)逮住不少問題了，清單長得嚇人，簡直瘋了！” Gulloso 興奮地說。另一邊，“YesNoError”項目則野心更大。創(chuàng)始人 Matt Schlicht 是AI創(chuàng)業(yè)者，受“黑鏟子”啟發(fā)，靠自創(chuàng)加密貨幣撐腰，想把所有論文掃一遍。他透露，兩個月內(nèi)，他們的AI工具已經(jīng)檢查了37000多篇論文，網(wǎng)站上標(biāo)出有問題的文章，雖然很多還沒人工核實，但他信心滿滿地說有大規(guī)模驗證的計劃。
兩項目都希望研究者在投稿前用上這些工具，期刊出版前也來一輪檢查，目標(biāo)是把錯誤和造假擋在科學(xué)文獻(xiàn)門外。可這事兒聽著美好，做起來卻沒那么簡單。
學(xué)術(shù)圈里那些專查研究誠信的“偵探”們對這倆項目有點看好，但也捏了把汗。荷蘭蒂爾堡大學(xué)的元科學(xué)學(xué)者 Michèle Nuijten 提醒，工具查錯的本事和結(jié)果靠不靠譜，得說清楚?！叭f一指錯了人，最后發(fā)現(xiàn)沒問題，那名譽可就毀了?！彼@話不無道理。瑞典林奈大學(xué)的法醫(yī)元科學(xué)家 James Heathers 也幫“黑鏟子”出過主意，他覺得現(xiàn)在胡亂發(fā)論文容易，想撤回來可難，AI先篩一遍再細(xì)查倒是個好開頭。“還早，但我挺支持的?！彼f。
其實，盯著論文毛病的工具不算新鮮，可這回靠大型語言模型(LLM)，查的范圍廣多了，從事實到計算、方法、引文，全都能掃。這些系統(tǒng)先把論文里的表格、圖片扒出來，再用一套復(fù)雜指令(叫“提示”)告訴“推理模型”——一種特別的LLM——要找啥錯。有時一篇論文得掃好幾遍，要么查不同類型的錯，要么互相驗證。分析一篇論文的成本從15美分到幾美元不等，看篇幅和指令復(fù)雜程度。
問題來了：AI也會看走眼。Gulloso 說，“黑鏟子”的系統(tǒng)目前錯判率在10%左右，每條疑似錯誤還得找專家復(fù)核，可找人成了最大瓶頸。項目創(chuàng)始人、軟件工程師 Steve Newman 直言，這是個大難題。YesNoError那邊，Schlicht 說他們從首批10000篇論文里挑了100個數(shù)學(xué)錯誤驗證，90%的作者回了信，幾乎都承認(rèn)AI找的錯沒錯。他們還打算跟 ResearchHub 合作，用加密貨幣雇博士科學(xué)家復(fù)核，可這計劃還沒啟動。
然而，YesNoError網(wǎng)站上現(xiàn)在假陽性不少。林奈大學(xué)的誠信研究者 Nick Brown 隨便點了40篇標(biāo)紅的論文，發(fā)現(xiàn)14個是AI瞎報的，比如說文中提到的圖表不在論文里，其實就在那兒?！八麄冋业拇蠖嗍菍懽鲉栴}，還老出錯?！盉rown 有點擔(dān)心，這么下去會給科學(xué)圈添亂，凈忙著澄清小錯，像拼寫錯誤這種，本該審稿時就抓住(兩項目主要看預(yù)印本論文)?！俺羌夹g(shù)大跳躍，不然這是在瞎忙活，太天真了。”他說。
Schlicht 不服氣，反駁說他們正努力降假陽性?！靶″e誤看著不重要，但就像黑廚具那篇，多一個零就能攪亂世界。”他還說已經(jīng)跟學(xué)術(shù)圈的人聊上了，歡迎更多反饋。YesNoError還打算讓持幣者決定先查哪些論文，瞄準(zhǔn)公眾關(guān)注的熱點，可 Brown 擔(dān)心這會瞄上氣候科學(xué)這種敏感領(lǐng)域。
如果真搞好了，Brown 覺得這些工具能揭開不少真相?！凹僭O(shè)有人真弄出個厲害的，某些領(lǐng)域就像開了燈的蟑螂窩，亂套了?！彼蛉さ?。想想那黑塑料風(fēng)波，一個小錯就能掀起軒然大波，AI查錯這路還長著呢，到底是幫手還是添亂，誰心里也沒準(zhǔn)。
本文譯自 nature，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
