後AGI時代：人類再無施展抱負的機會

來源：36氪

編者按：這是一篇對後AGI時代的設想。如果AGI實現的話，AI將在所有領域都超越人類，這個思想實驗認爲，將來每個人都能過得很好，但階層會嚴重固化，有些人會比大多人掌握多得多的權力，社會將出現停滯，人類將沒有任何抱負。文章來自編譯，一家之言，請用批判性眼光審視。

我聽過很多人說“後AGI 時代，錢將不再重要”。這話總讓我覺得怪怪的，而且很可能完全是錯的。

首先，勞動是指人類的腦力和體力活動，用於創造有價值的東西。資本品是工廠、數據中心和軟件等人類創造的工具，用於商品和服務的生產。我用“資本”代指資本品存量及支付方式（如金錢），而當我想排除掉資本品時，我會直接用“金錢”。

AI 的關鍵經濟效應在於讓資本成爲勞動的普遍替代品。需要人類工作時間的場景越來越少，因爲可以用資本（如跑軟件的數據中心）替代人類的腦力勞動。

我會闡述這一現象的後果，並最終得出結論：AI取代勞動力意味着：

1、在現實世界購買結果的能力會大幅提高

2、人類在現實世界行使權力的能力會急劇下降（至少在沒有金錢的情況下）；原因包括：

3、激進的平等化措施不太可能實現

總體來看，這表明變革性 AI 存在一個被忽視的弊端：社會可能從此會變得一潭死水，而當前的權力不平等可能會被放大並固化。

如果 AI 的能力足夠強，這種風險並不是出於物質享受的擔憂。政府可以利用 AI 創造的財富實施全民基本收入（UBI）。即便假設AI 創造的財富只有美國獨享，而美國政府對美國以外地方漠不關心，如果假設 AI 帶來了極端的財富增長，美國少數對此關心的富有階層可能創造出來的財富也足以終結物質貧困。比方說，如果美國那些億萬富翁的財富的1% 用來轉移給外國人的話，他們的財富需要增長 16 倍即可以爲地球上的每個人提供 50 萬美元。在經濟每隔幾個月就翻一番的奇點場景下，這種情況可能很快就會發生。當然，如果 AI 的爆發沒有奇點那樣極端，或 AI 崛起期間的狀況對全球大部分人口不利（這種可能性真實存在），即便是物質享受也可能成問題。

這些場景最讓我觸動的是，階層固化一潭死水的社會既沒有活力也缺乏生機。我們應該儘量避免扼殺掉人類的雄心壯志。

此外，這種狀態還可能增加緩慢漸進出現的 AI 災難發生的可能性，因爲權力機構關心人類福祉的動力減少了。

默認的解決方案

姑且假設，在目前人類能拿到報酬的絕大多數任務當中，人的腦力勞動與體力勞動不再具備顯著的市場價值，因爲用人工智能可以更好/更快/更便宜地完成這些任務（編者注：目前看這些假設是不成立的）。我們稱只爲勞動力替代型AI。

由此產生的失業問題，有兩個層面的標準解決方案：

不過要注意，首先，金錢不會消失，除非有一個 AI 系統負責所有的經濟規劃。價格的主要作用是傳遞信息。如果存在許多行爲人彼此交易，則價格的存在應被視爲默認假設（即便人類看不到或不能與之直接交互）。此外，不管奇點再怎麼奇異，資源的豐富程度仍是有限度的，因此仍需要分配。

目前，金錢很難買到人才

錢可以買到很多東西：比方說，資本品通常可以直接購買，而且需要大量資金（或其他流動資產、可用於簽訂合約的非流動資產，或者特殊政府權力）才能獲得。可是，靠砸錢錢轉化爲可與頂尖人才媲美的勞動力卻出人意料的難。

比方說，可以對以一下藍色起源與 SpaceX 。藍色起源成立時間比 SpaceX 早兩年（2000 年 vs. 2002 年），而且在大部分時間裡前者是資金更充裕的那個，甚至到今天，兩家公司的員工數量仍幾乎持平（11,000 vs. 13,000）。但顯而易見，SpaceX 卻以絕對優勢壓倒了藍色起源。2000 年，傑夫·貝索斯手頭有 47 億美元，可你幾乎找不到任何手段能阻止他輸給資金更少但具備文化凝聚李與卓越人才的 SpaceX 。

再比如，一個世紀之前，萊特兄弟僅憑自行車修理店的資源就擊敗了資金雄厚的塞繆爾·蘭利團隊。

或者看一下風投人跟創始人之間的互動，或者買家與初創企業之間的互動。這兩種情況下，擁有鉅額金融資本的投資者願意爲勞動價值支付極高價格，賭的是少數創業者的勞動將擊敗鉅額資本。

如果想把錢變成成果，你面臨的最大問題就是招到合適的人才。這會帶來幾個問題：

（當然，那些有錢人會不斷建設基礎設施，爲的是更容易將金錢轉化爲成果。我就親眼目睹了量化金融公司在很大程度上已經成功扼殺了英國頂尖 STEM 畢業生的所有雄心壯志，並用金融市場上微薄的收益取而代之。財神爺的要求必須得到滿足！）

一旦AI取代勞動力，這些問題就會消失。

首先，你可能沒法判斷誰是AI“人才”。即便AI評估生態體系都很難正確判斷AI“人才”——評估是很難的。給予了Claude-3.5-Sonnet恰當口碑的非正式機制說不定都比任何的基準測試強，因爲隨着AI能力的不斷提升，後者也越來越難以判斷哪些人工智能纔是真正的最佳。但真正的區別在於AI可以克隆。目前，一位取得突破的明星研究員會被鉅額資本趨之若鶩，從而讓控制金錢的人看得見他們的才華（可以判斷一篇論文的社會反響，但通常不能給這個人是不是人才直接下結論）。但AI明星研究員是可以克隆的。每個人——或者至少，每一位有足夠錢砸在 GPU 上的人——都能得到自己的AI明星研究員。你不需要從各種各樣獨特的人類當中去篩選出他們未經證實的才能，而更加令人討厭的是他們的能力你沒法立即克隆。所以說一旦擁有了可以取代勞動力的AI，資金就就能更容易地找到頂尖人才。

當然，人才價格也會大幅下降，因爲AI會比同等的人類勞動力便宜（編者注：目前看不是這樣的，OpenAI o3的成本高得離譜），而且AI可以克隆，競爭也會更加激烈。

用錢買人的最後一大瓶頸是，很多頂尖人才有自己的獨特癖好，這樣的人很難被金錢收買。頂尖藝術家有自己迷戀的藝術觀。頂尖數學家對優雅和美無比執着。頂尖創業者對自己的事業有堅定的信念——而且可能無論如何都沒法成爲一名好員工。人類的天賦和表現令人驚訝地與一門學科或一項使命形成了神聖紐帶（這個世界的那些憤世嫉俗者/野心家/羅馬帝國喜歡淡化這一事實，結果卻發現自己的午餐被雄心勃勃的實習生/ SpaceXes /基督徒吃掉了）。相比之下，AI就很容易收買。天才的AI數學家跟人類數學家就不一樣，它們會很樂意把自己有限的時間花在證明乏味代碼的正確性上。

最後，也很顯而易見的一點，AI完成任務的能力最終會比任何人類員工都要強。

這意味着，一旦我們擁有取代勞動力的AI，金錢在現實世界購買成果的能力將大幅提升。

大多數人的權力/影響力均源自他們的勞動

取代勞動力的AI也將幾乎所有人的權力和影響力給剝奪了。最明顯的一點，如果你是普通人，你之所以有錢，是因爲有人付錢給你，讓你付出腦力和/或體力去解決他們的問題。

可是！我們不是假設有 UBI 了嗎？！問題解決了，對吧？

爲什麼國家會那麼有善心？

關心人類福祉的國家纔會推UBI。國家關心或者可能關心人類福祉的原因有很多。

過去幾個世紀，各國政府對人類的關切已經發生了巨大轉變。爲什麼？我們可以分析一下原因，看看這種情況能持續多久：

AI 對第二點會大有裨益。AI對第一點的影響比較複雜。此處我想重點探討第三點，因爲我認覺得這一點沒有受到重視。

自工業革命以來，國家與人民的利益達到了前所未有地一致。要想在經濟上具有競爭力，強國需要有高效的市場、能培養熟練工人的優質教育體系，以及能創造需求的繁榮中產階級。國家需要不拘一格降人才。這種需求推動了科學、技術、藝術和媒體的發展，從而帶來了全球軟實力和文化影響力的提升。國家之間的競爭通常會進一步推動朝着這些方向發展。相比之下，封建制度的成功之道在於上層階級剝削文盲農民，同時將榨取的很大一部分租金用於與鄰近國家的戰爭。

不過，有了取代勞動的 AI 後，國家的動力（爲了強化競爭力和/或自身權力所應採取的行動）就不再與人類利益一致了。跟封建時代相比，相關動因可能會稍好一些——在封建制度下，其動因是儘可能壓榨農民，但又不至於讓他們餓死。AI 出現後，人類會從“可開採的資源”變成“無關緊要的存在”。不過，國家是有動力將資源少分配一點給人類而更多地分配給AI的，因爲後者能讓國家保持競爭優勢。

人類對國家的影響力也會大大削弱。比方說，今天如果某個重要行業罷工的話，國家必須重視，因爲它的權力至少需要仰仗某些人羣的支持。此外，以前大家還可以主張“投資我們，十年後國家將更強大”。但一旦維持經濟運轉和軍事強大的一切活AI都能包辦的話，國家就沒有理由關心人類的任何需求了。

亞當·斯密曾寫道，我們期望的晚餐並非來自屠夫、釀酒師或是麪包師的恩惠。同樣，今天的古典自由主義者可以很自信地宣傳，歷史的軌跡確實朝着自由與富足的方向前進，而且這一進程不是出於國家的仁慈。但在取代勞動的 AI 出現之後，這一切將不再成立。如果歷史的軌跡不變，那隻能是因爲國家（或 AI 富豪）的仁慈。如果是這樣的話，我們最好在還有影響力的時候鎖定這種仁慈——並找到它能經受時間考驗的充分理由。

再無非凡成就？

在這個世界上，有很多改變都是由沒錢沒權的人推動的，這些取得了非凡的成功，最終也變得有錢有權了。這是說得過去的，因爲已經有錢有權的人很少有推動重大變革的熱情，因爲他們恰恰是現狀最大的得利者。

不管你對收入不公或任何特定羣體取得非凡成就有何看法，我希望你能認同我的觀點，也就是某人取得非凡成就並改變世界的可能性，對於我們避免停滯不前以及總體上建立一個有趣的世界至關重要。

我們不妨思考一下，想想替代勞動的AI對通過勞動取得非凡成就的各種途徑有何影響。

創業正日益成爲馬特·克利福德所謂的“實現抱負的理想方式”，特別是那些有技術才能但對政治不感興趣的年輕人的首選。創業現在變得更容易了。AI工具可讓小團隊不用招更多人也能更有效率。AI還降低了學習新技能進入新領域的門檻。但是，取代勞動力的AI讓創業的可行性變得不確定了。在某些比較狹窄的賽道里，AI可能仍然主要是工具，創業者可以在大多數人類勞動被自動化之後很長一段時間內取得成功，因爲創業者有主動權，方向要由他們給出。不過，足夠強大的AI似乎也有可能讓人類的創業精神變得過時。比方說，風投基金說不定可以直接將把資金轉化爲數百家由AI運營的初創企業，而不用再找人類創業者來替他們管理AI。

硬核科學。由於AI在具有明確激勵信號的領域的進步神速，人類在硬科學領域取得成就的時代在幾年之內可能就會結束。

知識分子。凱恩斯、弗裡德曼和哈耶克都從事經濟學的技術性工作，但他們的巨大影響力來自於他們形成並兜售的世界觀（尤其是哈耶克），所以這些人比主宰數理經濟學的保羅·薩繆爾森等人更具影響力。約翰·斯圖爾特·密爾、約翰·羅爾斯還有亨利·喬治等則靠建立框架、世界觀與哲學而產生影響。這些人與硬科學家之間的關鍵區別在於，其工作成果不僅僅要聚焦於技術上的正確性，還需要道德判斷。就算AI超級有說服力，超級正確，但AI在這個領域的工作方式如何適應人類文化選擇與思想傳播方式仍存在一定的不確定性。對於人類知識分子來說情況似乎不太妙。我懷疑，知識分子的意識形態之所以如此強大，很大程度上是因爲那是天才的產物，而天才是很罕見的。而AI創造的意識形態氾濫的話，可能意味着任何個人意識形態，當然也包括人類的意識形態都不再會有那麼大的光環了。具有世界歷史意義的知識分子可能會滅絕。

選擇政治受到的影響也許是最小之一，因爲我猜大多數人都希望人類來擔任這項工作，而且政客可以制定什麼可以做的規則。不過，AI生成的虛擬形象的魅力，以及至少在西方，大家對政客的普遍厭惡，可能會帶來意外驚喜。在位的這幫人會不會受到青睞還很難說。AI可能會降低政治競選很多地方的成本，降低進入的資源門檻。不過，如果小玩家玩不起的AI要比更便宜的AI優勢大得多的話，天平就會向擁有更多資源的玩家傾斜。我預計AI對模因化格局的直接影響要小於間接影響。

還有，主戰場不是真的從政，因爲有上百萬具備政治天賦的人在角逐總統或總理。相反，如果你有政治技能的話，去政府之外這種東西不那麼常見的地方效果反而更加（看看山姆·阿爾特曼）。接下來，就等着超級能幹的AI員工的到來吧，這些員工會降低對人類在具體專業領域能力的需求，同時提高在組織內部贏得政治博弈的回報。。

自拿破崙以來，軍事成功作爲通往大國地位和顛覆現狀的直接途徑，基本上不再是現實，這一變化從某種程度上來說是好的。科技的進步提高了建立一支最先進軍隊所需的最低工業基礎，這對現有強國更爲有利。人工智能（AI）看起來將由最強大的國家所掌控。一個例外情況是，如果人工智能使得對大國的政變變得更加容易。未來對人工智能軍隊的控制可能會在兩個方面發生變化：（a）比以往更加集中化（因爲軍事行動不再需要大量人員的參與）；（b）比以往更加可控（因爲權限可以通過代碼來實施，而不再依賴人類的社會規範）。這兩種因素的指向不同，因此目前尚不確定它們對政變易發性的綜合影響會是什麼樣的。另一個潛在的例外是，如果革命性的戰術與廉價無人機結合，使得“無人機拿破崙”能夠戰勝現有的軍隊。然而，值得注意的是，這兩種情況似乎都不太可能帶來對現狀產生積極顛覆性挑戰的可能性。

因此，總體而言，足夠強大的勞動力替代型AI會對人類各種類型的成功機率產生不利影響，其中對政治的影響可能最弱。儘管目前的AI對創業是有着切實促進作用的。

所有這些意味着，一旦我們擁有能取代勞動力的AI，在現實世界中，沒錢想要掌控權力會變得困難許多。

強制平等不太可能實現

《不平等社會》（The Great Leveler）是一本關於不平等歷史的好書，至少作者認爲，這本書很好地經受住了質疑。書的結論是，過去不平等現象大幅減少完全是折種事件推動的：全面戰爭、暴力革命、國家崩潰以及大瘟疫。從歷史上看，通過有意識的政治選擇來平衡收入差距已經非常困難了，基本上不可能實現。

想象一下，AI取代勞動力的時代已經到來。全民基本收入法案獲通過，所以沒人會捱餓。各國和各公司都在競相利用AI。這一切都需要密集資本，所以人人都需要贏得資本持有者的青睞。頂級AI公司擁有國家級的權力。財富再分配不太可能成爲政治議程的首要議題。

一個例外可能是，如果某種新的政治運動或意識形態迅速獲得大量支持，並且在一定程度上受到AI空前的影響推動（比方說：人再也找不到工作，所以可以將所有時間投入到政治上，或者出現了某種新的AI驅動的協調機制）。

因此，哪怕未來是一個極其輝煌的，超人類主義的烏托邦，剛開始的時候人人平等也不大可能。根據前面的論點，他們也不太可能在以後大極大改變其相對地位。

還要考慮國家之間的平等。一些國家將從人工智能中受益遠超其他國家。在當前政治制度下，許多平等措施（如 UBI）很難推廣到非公民。即使是美國，這個世界歷史上最自由、最人道主義的大國，也是如此。默認情況下，世界秩序可能看起來（甚至比今天更像）基於出生國的全球種姓制度，移民的可能性甚至更少（因爲允許移民的主要動機是其巨大的經濟利益，而這種利益只有當人類從事具有經濟意義的工作時纔會存在）。

還要考慮各國之間的平等問題。AI給某些國家帶來的好處將遠超其他國家。很多平衡差距的措施，如普遍基本收入（UBI），在當前的政治體系下很難推廣到非公民身上。就連美國也做不到。因此，默認情況下，全球秩序可能會變得更像一個全球性的看出生地的種姓制度，移民的可能性也會變少（因爲移民的主要動力是可帶來巨大經濟利益，而這種利益只有在人類從事具備經濟意義的工作時才能實現）。

默認的結果是什麼？

如果接受本文開頭的假設和上述分析，則後人工智能時代：

這意味着，在替代勞動力的AI到來時，擁有大量資本的人會擁有永久性的優勢。相對於今天的富人，他們會擁有更多權力——這種權利不一定體現在對人的控制，但至少在物質和智力成就方面會擁有更多權力。新興勢力恐無法戰勝他們，因爲如今資本可以輕鬆地轉化爲超人類表現的勞動。

此外，這個世界上掌握權力的那些機構將不再有動力去關心人們，因爲以前是出於維持或增強權力的需要，但將來一切真正權力都將來自AI。不過政治機構可能也會將價值觀牢牢鎖定在自由人文主義上。同時，如果人人都具備普遍基本收入（UBI）或類似保障，且經濟仍保留人本的部分，人民的購買力也可能會被牢牢鎖定。

最理想的情況下，這個世界會跟挪威比較接近：只不過會更加不平等、更富裕、更缺乏活力：會一大筆非人類勞動資源（石油 :: AI）帶來的利益流向每個人，雖然確實部分人會比其他人更有錢，但人人都將擁有極高的生活水平（理想情況下，還能永生）。在這樣的世界裡，人類唯一的抱負，就是在自己的圈子和階層玩局部的社會和政治遊戲。如果你沒有大量資本（即便如此，或許也不行），你將無法再影響更廣泛的世界。請記住：人工智能是更好的詩人、藝術家、哲學家——無論是什麼領域都是；除了那些你認識的人以外，誰還會關心你做了什麼呢？這就像在封建社會裡，回答“這個人爲什麼那麼有權勢？”這個問題時，通常都要牽扯到一段漫長的家族史，或許會提到某位曾血戰沙場的遠古祖先一樣，將來的任何要人也會因爲自己祖先在前AGI時代做過的某些事而世襲（“呃，我叔曾是OpenAI的技術人員”）。未來的孩子們將生活在父母的陰影下，社會流動性會徹底消失。爲此你該感覺到一絲存在主義恐懼，即便承認情況本來可能會糟得多。

在更糟情況下，那些AI萬億富翁將擁有幾乎無限且不受控制的權力，憑藉着他們在替代勞動力的AI能到來時擁有的資本，形成了一個永久性的貴族階層。不同階層之間的權力鴻溝可能會讓現代人不寒而慄，就像現代人認爲封建社會那種階層差距很荒誕一樣。但別擔心——就像封建社會即便沒有說服力超強的AI，下層階級仍然大多接受了世界秩序一樣，未來的下層階級也會如此。

在最糟糕的情況下，人類可能會滅絕，原因可能是由於長時間內，優化會漸漸朝着AI攫取權力傾斜而不是爲了人類繁榮。因爲這正是權力和金錢的動力。

結論

如果你看完此文，並因此去量化金融公司工作，我會感到難過。如果你正打算在AI方面的大展宏圖，在看完本文後跑去 Anthropic （編者注：知名的AI初創企業）工作，好積累些無風險的個人資本，我不能怪你，但仍然會感到有點難過。

當然，上述情況確實增加了中期（約 2-10 年）個人理財的風險，您應該考慮這一點。但現在也是做些雄心勃勃的事情的好時機。羅賓·漢森 (Robin Hanson) 稱現在爲“夢幻時光”，這源於原住民神話中的一個概念：未來世界秩序及其價值觀仍處於流動狀態，尚未一成不變。

當然，上述情況的確增加了中期（約2到10年）個人財務的風險，你應該考慮這一點。但同樣也可以說，現在是幹大事業的絕佳時機。Robin Hanson 說現在是“夢幻時代”，：一個未來世界秩序和價值觀尚未確定的時期。

以往的社會動盪——各個階段的工業化、互聯網等——對人類實現雄心壯志非常有利。隨着AI的到來，我們可能迎來人類施展抱負最後，也是最偉大的一次機會——之後再無此類機會了。你的反應怎能不是“把握當下”呢？

我們還應努力讓這個世界保持活力。

理性主義對後 AGI 未來的思考過於解決方案主義。稻草人版本：解決道德問題，解決人工智能，找出覆蓋宇宙的最佳結構，這樣做就完成了。（實際的領軍人物的稻草人觀點要少得多；例如，參見 Paul Christiano 23:30 的論述——但實際文化確實傾向於稻草人觀點。）

理性主義對後AGI時代的思考過於解決主義了。其稻草人版是：解決道德問題，解決人工智能問題，找到建構宇宙的最優結構，做到這一點就搞定了。

我認爲，社會及其發展如果是不斷變化的、動態的，那麼個人能夠爲其增添或改變，這樣會更加健康。這意味着保持成功雄心的潛力——以及由此產生的顛覆——仍然存在。

我認爲，對於社會及其發展的健康來說，讓社會不斷變遷、保持活力更爲有利，個體能對社會做出貢獻或改變的能力應當保留。這意味着要讓抱負——以及由此帶來的變革——保有實現的機會。

我們該如何做到這一點？我不知道。但我認爲，你不該把AI的到來看作人類被淘汰的不可逆轉。至少在一段時間內，這堵牆會有裂縫——如果用顯微鏡而不是天文望遠鏡去看，你會發現這道縫隙要大得多。不過，隨着AI逐漸接近人類的表現，最終我們也要增強自己才能跟上它們的步伐。

譯者：boxi。