招行信息技術部副總經理俞吳傑：爲大模型應用開“綠色通道”

21世紀經濟報道記者李覽青 上海報道

在“科技立行”的戰略引領下，招商銀行是信息科技投入規模最高的股份行，也是數字化基礎設施建設較快的銀行之一。

2019年，招行提出加快向“金融科技銀行”轉型，並在公司章程裡規定“每年金融科技整體預算原則上不得少於本行上一年度營收的3.5%，其中‘招行金融科技創新項目基金’預算額度原則上不低於上一年營收的1.5%”。目前從人員分配來看，信息技術部是招行一級部門中人數最多的部門，截至2024年6月末，公司研發人員數量達到10653人，佔集團員工總數的比重達到9.23%。

2022年底，招行實現科技底盤從傳統架構升級換代到雲架構，並將所有應用系統全部遷移至雲上。

在今年的中期業績發佈會上，招行行長王良提到將用三年時間實現從“線上招行”向“智慧招行”的跨越。在智能化變革深刻影響的當下，招行在基礎設施建設、AI等新興技術應用層面有哪些新的思考與應用？

近日，招行信息技術部副總經理俞吳傑接受了21世紀經濟報道記者採訪。他提到，今年年初招行開始建立智算平臺，並通過FinTech基金對大語言模型方面的基礎設施建設與應用開設“綠色通道”，推動AI在錢多、人多、耗時多的場景裡發揮更大的價值。

談投入：爲大模型應用開“綠色通道”

一直以來，聚集資金與數據優勢的商業銀行都是數智化轉型的領頭羊。從2023年全年科技投入數據來看，12家銀行科技投入超50億元，其中8家銀行投入超百億。

就招行自身來看，其信息科技投入經歷了從2018年到2021年的迅猛增長，從2022年開始已趨於平穩，截至2023年末科技投入金額約141億元。

俞吳傑告訴記者，招行信息技術投入分爲兩大方向，一是傳統的軟硬件投入，二是在探索大語言模型落地時，搭建智算平臺、挖掘應用場景的投入。

傳統的軟硬件投入主要是圍繞招行的雲基礎設施。2023年3月，招行宣佈完成全面上雲，目前招行的“兩朵雲”分別爲“金融交易雲”與“原生雲平臺”，前者重“穩態”，後者重“敏態”。俞吳傑表示，這是招行面向未來的數字化新基建，投入非常大，就從硬件來說，“兩朵雲加起來需要數萬臺服務器。”他提到，此外還有軟件投入、維保費、人力等。

面對生成式AI帶來的大模型浪潮，招行第二大科技投入的方向是智算平臺，該平臺從今年年初開始建立。“以前我們的服務器集羣叫做通算平臺，現在和大模型相關的我們稱爲智算平臺。”據俞吳傑介紹，智算平臺包括招行的大語言模型訓練平臺與推理平臺兩個方面。他提到，招行探索大模型的目標不是建立通用模型，而是在金融行業建設垂直領域的大模型。

“無論是訓練還是推理，集羣投入都是以億爲單位的。”俞吳傑提到，每臺GPU的價格上百萬，僅算力配置的成本就相當高昂，同時還需要引進相關人才，這意味着持續的投入。

俞吳傑坦言，應用場景需要業務部門和技術部門一起創新，存在一定試錯成本，招行的解法是用FinTech基金來提供容錯成本，每年招行FinTech基金的預算額度原則上不低於上一年營收的1.5%。“總行對於大語言模型的基礎設施建設和應用，都是全力支持，基本上都能通過FinTech基金走綠色通道。”俞吳傑表示。

招行對智算平臺的全力投入，是因爲大語言模型正在銀行各個業務板塊全方位地釋放價值。在俞吳傑看來，雖然大模型在銀行的落地應用還處於探索階段，但已經爲業務帶來了非常顯著的變化。

俞吳傑指出，在從“線上招行”向“智慧招行”轉變的過程中，線上化、數據化、智能化、平臺化、生態化的“五化”建設至關重要，目前招行已基本完成線上化和數據化階段。

在智能化階段，俞吳傑提到，AI已經融入到銀行日常的營銷、服務、風控、經營等各個方面。例如在服務質檢方面，過去人工客服接聽電話、記錄內容、整理歸類的流程可能需要五分鐘，但現在可以藉助語音識別轉換成文本後交給大模型處理，可以把流程縮短到“秒”級，大幅提升工作效率。

談落地：到“錢多人多耗時多”的場景中去

在探索大模型落地應用的過程中，數據、算力、算法的“三駕馬車”是金融機構和科技廠商的必答題，對招行來說也是如此。

俞吳傑告訴記者，基於傳統AI技術，招行已在語音語言、計算機視覺等方面有廣泛落地應用，但對大語言模型與智算平臺建設的探索還是近兩年纔開始的，接下來將聚焦兩個方面。

第一是持續建設推理集羣。“未來的大模型應用，對算力提出剛性要求，如果沒有算力服務就很難擴展場景、提升用戶體驗。”俞吳傑提到。

第二是擴大訓練的集羣。俞吳傑明確指出，招行不會將精力放在通用大模型訓練上，而是聚焦專業領域。招行選擇了兩條路徑，一是基於效果較好的通用大模型，結合專業領域知識以及招行在日常經營中積累的專業語料，“做深”領域大模型；二是將領域大模型投入到更多場景中，基於場景實現應用創新。

“我們認爲銀行有三個重要的‘密集型’特徵，分別是數據密集、知識密集、人力密集。”俞吳傑表示，在“錢投入多”、“人投入多”、“耗時多”的場景下，AI將產生更大的價值。

據俞吳傑介紹，招行的創新應用一般是自上而下、自下而上“兩條腿走路”。

自上而下方面，招行會基於對大模型應用的整體規劃來投入資源。俞吳傑提到，目前該行的規劃是按照業務條線、業務形態的“兩維矩陣”來挖掘前述的“三多”場景，前者對應零售、批發、中後臺等條線，後者對應營銷、服務、運營、風控、合規、辦公等場景。

自下而上方面，招行通過FinTech基金、創新競賽等形式，激勵一線業務人員在實際工作中應用大模型。“在上層做規劃的時候，可以從全局出發，但往往一線聽得到炮火的員工，對業務的真實需求理解最深。”俞吳傑表示，招行將加大在培訓、機制、資金等各方面投入，引導一線員工在日常工作中挖掘大模型的實踐場景。

據介紹，截至今年10月末，招行全行已有超過100個場景在應用大語言模型。俞吳傑表示，未來招行還將加大在智算平臺投入，擴大規模、提升性能，並與高校、廠商等共同攻關技術難點。

談未來：加強協同應對AI風險

儘管以大模型爲代表的AI技術已經開始釋放應用價值，但不可否認的是，新興技術也帶來了新的風險與挑戰。

俞吳傑指出，大語言模型在銀行的落地應用還存在幻覺問題、資源消耗巨大、數據隱私保護、答案生成可解釋性等方面問題。例如在客服場景中，如果大模型的思考時間過長，可能影響客戶體驗，但性能調優需要更大規模的算力，與更多的資源消耗；又如在貸款審批等涉及決策的場景下，多層神經網絡模型是“黑盒”，可能使得業務“不敢用”。

對此，招行的解法是“協同”，既包括人機協同，也有大模型與小模型的協同。

客戶服務是大模型最先落地應用的場景之一。俞吳傑提到，隨着銀行客戶數量、賬戶數量的增加，對客戶服務的需求快速增長，客服業務的發展也經歷了人工客服、機器客服和人機協同的三個階段。他指出，在第二個階段主要是通過自然語言處理的小模型，來實現客戶交互，但由於機器理解可能的偏差，影響客戶體驗。目前，招行的智能客服來到人機協同的第三階段，機器人可以解決簡單、相似性較高的問題，當出現複雜問題，或AI判斷用戶情緒需要人工干預時，可以無縫銜接到後臺坐席人員處理，最終在實現規模效應的同時提供“有溫度”的服務。

爲進一步解決大模型因幻覺導致的準確度不高、可解釋性不強、響應時間過長等問題，招行採用大模型與小模型協同的方式。

俞吳傑表示，小模型的“小”只是相對於大語言模型的量級而言，基於傳統方法建立的模型，一般是針對某一場景開發的專有模型。“大的趨勢是大模型的覆蓋範圍會越來越廣泛，如果它的準確度和效果能達到使用標準，它的可複用性可以大幅降低銀行的邊際成本。”俞吳傑指出，雖然小模型需要專門的開發、部署、維護，但它有很好的可解釋性，對場景有針對性，特別是在精準的數值處理方面，小模型的表現較好，因此未來大模型和小模型仍將長期並存。

“大部分銀行只要有能力，基本都會佈局大語言模型，但這是一項持續的大規模投資，不是所有銀行都適合這種大規模投入的。”俞吳傑表示，不建議大量中小銀行盲目跟風。在產生價值、可複用的場景上，中小銀行機構可以基於大行經驗進行大模型的應用探索。