鵝廠造了個AI翻譯公司：專攻網絡小說，真人和GPT-4看了都說好
鵝廠搞了個150多人的“翻譯公司”，從老闆到員工都是AI智能體！
主營業務是翻譯網絡小說，質量極高，參與評價的讀者認爲比真人翻譯得還要好。
而且相比於僱傭真人，用它來翻譯文學作品，成本降低了近80倍。
公司名爲TransAgents，每個崗位都配備了30個不同的職工，能夠根據語言、體裁和目標受衆適配不同的翻譯風格。
相比於傳統的翻譯，產出的譯文更加靈活多樣，也更符合目標語言的表達習慣，文學性也更強。
所以，TransAgents雖然在以相似度爲基礎的自動評估中“失敗”，卻贏得了讀者和專業人士的大力肯定。
這樣的表現甚至讓人感嘆說，或許人類對人工智能生成的內容更加青睞的時代，就要來了。
還有人表示，TransAgents是證明自己錯看了人工智能的又一證據——本以爲由於模型限制，小說的翻譯對AI會極其困難，結果AI智能體把這個任務完成得非常好。
所以，TransAgents到底有沒有那麼神呢？
爲了評估TransAgents的翻譯質量，作者選擇了WMT2023數據集，需要對其進行篇章級的文學翻譯。
該數據集從12部網絡小說中各截取了20個連續的章節，涉及如下八種類型：
起初，作者使用d-BLEU進行了自動評估，該方法會與參考樣本進行相似度計算，相似度越高得分也就越高。
具體到本項目當中，參考樣本一共有兩組，樣本一是人工給出的翻譯結果，樣本二是對網絡中的雙語文本進行對齊後得到。
結果，TransAgents的得分並不理想，只有25分，連SOTA的一半都不到。
但這並不意味着TransAgents的翻譯質量不行，而是因爲用相似度來衡量文學作品翻譯的表現，本身就有失偏頗。
文學翻譯不是逐字對照，而是需要在語義、語氣、風格等方面進行創造性的轉換，這些轉換可能導致譯文與參考譯文在表面上差異較大，相似度不高自然就不意外了。
所以，作者乾脆直接讓真人（至少10人）來評價翻譯的質量，順便也讓GPT-4（0125-Preview）來看了看，在TransAgents、GPT-4（1106-Preview）和真人當中，誰的翻譯最好。
測評者會看到針對同一段原文的不同翻譯，其中真人只看譯文，GPT-4則是原文譯文都看。
結果，真人測評者有超過一半都認爲TransAgents比人類翻譯得更好，8.4%認爲兩者質量相當，GPT-4也認爲TransAgents比自己（和人類）的翻譯質量高。
除了這些大衆評審之外，兩名專業的翻譯也認爲，雖然人工翻譯更加忠實於原文，但TransAgents給出的翻譯明顯更有文學色彩，更加簡潔、在遣詞用句上體現出了語言天賦和深厚的文學表現力。
MATTR和MTLD測試指標也證明了這一點，尤其是在MTLD上，TransAgents的語言多樣性比真人和GPT-4高出了三分之一左右。
在作者展示的案例中，TransAgents會根據目標語言的習慣對翻譯內容做出調整，真人（Ref1）和GPT-4雖然翻的也沒錯，但相比之下不如TransAgents符合語言習慣。
另外在前後一致性上，TransAgents也超過了單純使用GPT-4，對相同的原文保持使用一樣的譯文。
當然，也不是說所有類型它都擅長，在前面提到的8種類型中，TransAgents在遊戲、科幻愛情等類型上的表現突出，而在恐怖驚悚等類型上就比較平庸了。
△圖中虛線代表50%Win rate
同時作者也發現，TransAgents在翻譯時並非“照單全收”，而是會出現一定程度的遺漏現象。
不過從測試中未看過原文的讀者給出的評分來看，這樣的遺漏似乎沒有影響到他們的閱讀體驗。
所以，這家“翻譯公司”是如何運行的呢？
在這個公司當中，不同的智能體分別扮演着CEO、初/高級編輯、真·翻譯、本地化專家和校對（Proofreader）這些不同的職位，除CEO外每個職位各有30人，每個人擅長的領域也有所不同，另外還有一個Ghost Agent。
這些智能體由GPT-4-Turbo驅動，每個角色都包含姓名、年齡、職位、工作年限及掌握的語言等多維度的設定。
接到“客戶”的翻譯要求後，CEO會綜合分析原文和目標語言、體裁、目標受衆等信息，從幾位高級編輯中選擇擅長領域最匹配的一位。
此時，Ghost Agent會對CEO的選擇進行評估，告知其人選是否合適，從而減少選擇失當的現象。
被選定的高級編輯會與CEO合作，再次結合任務需求和個人特點，從公司人才庫中進一步選擇初級編輯、翻譯、本地化專家和校對等團隊成員。
團隊組建好後，首先由初級編輯逐章節識別所有潛在的關鍵術語，生成初始術語表，交由高級編輯審查，刪除其中的通用術語，生成修訂後的術語表，反覆迭代直到不需要進一步修改。
然後，結合術語在不同語境下的意義，高級編輯會將術語表中的關鍵術語翻譯爲目標語言。
有了術語表後，初級編輯會爲每一章生成詳細的章節摘要，儘可能保留關鍵信息和細節，然後還是讓高級編輯來審查，並刪除冗餘或不必要的信息，讓章節摘要更加簡明扼要。
接着，高級編輯根據修訂後的章節摘要編寫全書的摘要，概括主要情節、人物和主題，並隨機選擇書中的一章，分析其語氣、風格和目標受衆，制定翻譯風格指南。
翻譯風格指南會發送給項目團隊所有成員，以確保譯文風格的一致性。
根據風格指南，公司中的真·譯員會逐章節進行初步翻譯，把初稿交給初級編輯審查，檢查是否遵循翻譯風格指南，並提出改進意見。
在此基礎之上，高級編輯會評估經過修改的譯文質量，決定是否需要進一步修改，譯員、初級編輯和高級編輯反覆迭代，直到譯文質量滿足要求。
但此時得到的翻譯文本並不是終稿，還要交給本地化專家進行調整。專家會識別可能需要文化調適的內容，如習語、隱喻等等，並對這些內容進行調整，使其在保留原文意圖的基礎之上更貼近目標語言和文化。
調整後的文本會讓初級編輯和高級編輯再次審查，確保譯文在文化適應性和忠實度之間取得平衡。
這之後，還有校對人員再次檢查語法、拼寫、標點和格式錯誤，如果有修改，還要再讓編輯進一步審覈。
這些流程都走完後，高級編輯會進行最後的終審，重點關注相鄰章節之間的連貫性，確保情節、人物、主題等元素在全書範圍內保持一致，一旦發現問題則發回給前面的團隊成員進行修改，直到形成最終的譯本。
如果客戶對譯本有修改意見，則會再次由高級編輯牽頭，組織相關人員進行修改，直到定稿。
不僅是在工作流程上極其嚴格規範，在客戶對譯本滿意後，高級編輯還會組織項目團隊“開會”進行項目總結，分享經驗教訓。
過程中積累的有價值的術語、翻譯技巧、文化調適策略等知識會被整理歸納，上傳至公司的知識庫，供後續項目參考。
TransAgents已經不是第一個由智能體組成的“公司”了，去年就有來自清華的“遊戲公司”ChatDev爆紅網絡，背後所運用的核心技術就是多智能體。
如果把視線放寬，不只看“公司”，還有斯坦福的AI小鎮、清華的AI狼人殺遊戲，都在使用多智能體進行着真實人類社會的模擬。
總之隨着大模型研究的深入，智能體和羣體智能實驗已成AI研究最熱門方向之一，而且從這次的TransAgents來看，多智能體協同已經開始顯現出了實際效益。
（順便提一句，有網友發現，從斯坦福小鎮到ChatDev，再到這次的TransAgents，多智能體研究的作者是真的喜歡《星露穀物語》式的繪畫風格。）
當然，也有人對此表示了擔憂，認爲由AI來主導翻譯，會導致語言的同質化，讓各種語言中獨特的表達消失。
更有甚者，已經跳出TransAgents本身，想到Ilya對大規模Agent合作的恐懼了……
那麼你認爲在羣體智能這條路上還能創造出什麼新奇的成果呢？歡迎在評論區曬出你的腦洞。
論文地址：https://arxiv.org/abs/2405.11804