麻省理工和哈佛:生成式人工智能理解世界仍薄弱
研究人員發現,雖說大型語言模型(LLMs)宣稱已取得諸多進展,但生成式人工智能(GenAI)還有許多要學習的,而且還不能完全讓人信任。
這項研究或許會對在現實世界中部署的生成式人工智能模型造成嚴重影響。
這尤其是因爲在某種情況下表現不錯的語言模型,要是任務或者環境稍有變動,可能就會垮掉。
這項研究是由哈佛大學、麻省理工學院(MIT)、芝加哥大學布斯分校和康奈爾大學的研究人員進行的。
語言模型已經表明它們在各種事兒上表現出衆——像寫作、生成計算機程序以及更多的活動。
這可能會讓人覺得這些模型正在知曉關於世界的一些普遍真理,可研究發現並非這樣。
在這項新研究中,研究人員發現,一種流行的生成式人工智能模型 能夠爲紐約市提供準確度近乎完美的逐段駕駛導航——儘管它沒有形成對這座城市的準確內部地圖。
然而,當研究人員封閉一些街道並增加繞行路線時,該語言模型的導航性能顯著下降。
經過調查,研究人員發現語言模型生成的紐約地圖“有許多不存在的街道在網格之間彎曲,且連接着遙遠的交叉路口。
“如果我們想利用這些技術做出新的發現,那麼大型語言模型是否正在學習連貫的世界模型這個問題非常重要,”說資深作者阿什什·蘭巴赫安,其爲麻省理工學院信息與決策系統實驗室(LIDS)的經濟學助理教授和主要研究員。
這項研究將在神經信息處理系統會議上展示。
在此次研究中,研究人員專注於一種名爲 Transformer 的生成式人工智能模型,它是諸如 GPT-4 這類大型語言模型的核心。
依據麻省理工學院的新聞稿,Transformer 是在大量基於語言的數據上進行訓練的,以預測序列中的下一個標記,例如句子中的下一個單詞。
然而,研究人員表示,當涉及到確定大型語言模型是否形成了對世界的準確模型時,僅僅衡量其預測的準確性遠遠不夠。
在另一個例子中,他們發現 Transformer 幾乎每次都能預測四子連珠遊戲中的有效走法,而無需理解任何規則。
因此,該團隊新開發了兩個指標,可以測試 Transformer 的世界模型。研究人員將評估重點放在一類稱爲確定性有限自動機(DFAs)的問題上。
確定有限自動機(DFA)是這樣一個問題:它存在一系列狀態,好比人們要到達目的地就必須穿過的交叉路口,還有一種具體描述沿途必須遵循的規則的辦法。
他們選了兩個問題當作確定有限自動機(DFA),分別是:在紐約市的街道上導航,以及玩棋盤遊戲奧賽羅。
在一個相當令人驚訝的情況轉折中,研究人員發現隨機做選擇的轉換器形成了更準確的世界模型。
新聞稿指出,儘管轉換器在幾乎每個實例中都生成了準確的方向和有效的奧賽羅走法,但是這兩個指標表明,只有一個爲奧賽羅走法生成了連貫的世界模型,而且在尋路示例中,沒有一個在形成連貫的世界模型方面表現出色。
然後,研究人員通過給紐約市的地圖添加繞行路線來證明這一點,結果導致所有導航模型都失敗了。
“如果我們僅僅關閉 1%可能的街道,準確率會立刻從近乎 100%猛降到僅有 67%,”一位研究人員說道。
據研究人員表示,這表明如果科學家們想要構建能夠捕捉準確世界模型的大型語言模型,就需要採取不同的方法。
“通常,我們看到這些模型做了令人印象深刻的事情,就覺得它們一定對世界有了某種理解。我希望我們能讓人們相信,這是一個需要非常仔細思考的問題,而且我們不必依靠自己的直覺來回答它,”另一位研究人員接着說道。
在未來,研究人員期望把他們的評估指標運用到現實世界的科學問題當中。