高通的自研架構芯片,正在整合生成式AI世界
機器之心報道
編輯:澤南
身處 2024 年末的我們,已經能感覺到大模型就在身邊。
新一代的旗艦手機上,動態壁紙、AI 畫圖、語音通話總結等功能一字排開,常用功能也有了新技術加持。
智能手機現在獲得了與現實世界互動的能力。你可以拍照直接問手機「看到了什麼」,它既能向你進行介紹,也可以對畫面進行圖像增強。
AI 領域最前沿的智能體也被塞進了手機,它可以像人類一樣點擊屏幕操縱不同的 App。你可以拿起手機用自然語言給出指令:「點三杯瑞幸的美式咖啡,大杯。」過一會兒 AI 就自動把外賣的店鋪、商品和口味選好了,只等你來付款。
在新一代大模型和芯片的加持下,很多 AI 手機的體驗有了質的升級,新引入的能力包括但不限於端側 AI 智能體、多模態大模型應用、視頻 AI 消除、超級 AI 助手等等。
值得注意的是,這些生成式 AI 的背後,都是高通的「驍龍 8 至尊版」在提供動力。作爲業界最新的旗艦 SoC,它不負衆望,在部分性能上對同行實現了「降維打擊」。不僅有顛覆性的性能提升,還有跨時代的體驗升級。
驍龍 8 至尊版:桌面級性能,移動端的能效
今年的驍龍究竟通過什麼引發了端側 AI 的質變?
說到「驍龍 8 至尊版」,就不得不從今年如火如荼的 AI PC 領域說起。
今年 6 月,微軟發佈了專爲 AI 設計的「Windows 11 + PC」。它是迄今爲止速度最快、最智能的 Windows 個人電腦。憑藉其中搭載的驍龍 X 系列 PC 平臺,能夠實現超過 45 TOPS(每秒萬億次操作)的 AI 算力,與此同時電池續航時間長達一整天。
這種新類型的 PC 結合先進的端側大模型技術,擁有一系列獨特的 AI 能力,不僅可以感知、理解世界的多模態信息,還能與人進行自然的交流,並執行復雜任務。
微軟官方表示:在很長一段時間裡,這是「獨佔」的能力。Windows 11 中的部分生成式 AI,只有在搭載 Oryon CPU 的驍龍芯片上才能正常運行。
沒過幾個月,這種級別的能力就進入到了手機上。在上個月的驍龍峰會上,高通正式推出驍龍 8 至尊版(Snapdragon 8 Elite)移動平臺,它是目前全球速度最快的移動端系統級芯片。
與上一代驍龍 8 Gen3 相比,驍龍 8 至尊版在 CPU 單核、多核性能直接提升 45%,GPU 性能提升 40%,NPU 輸出的速度達到了 70+Tokens 每秒,與此同時整體 SoC 功耗還降低了 40%。
在性能提升的背後,驍龍 8 至尊版從裡到外,有了脫胎換骨的改變:
首先是 CPU,它成功地把高通自研架構的桌面級能力帶到了手機上,採用第二代定製高通 Oryon CPU,由兩個主頻爲 4.32 GHz 的「超級內核」和六個頻率 3.53 GHz 的性能內核組成,取消了以往的能效核,既提供更好的性能,又提升了功耗效率。
GPU 方面,高通對 Adreno GPU 架構進行了重新設計,爲每個切片分配了專用內存,性能提升了 40%,功耗降低 40%,光線追蹤性能也提升了 35%。
AI 能力方面,在驍龍 8 至尊版上,全新架構的 Hexagon NPU 性能提升 45%,能效提升 45%,這得益於所有加速器內核的吞吐量提升。此外,結合全面提升的 CPU 和 GPU,該芯片能夠跨所有核心動態管理 AI 負載,相比上一代,基礎大語言模型 token 生成速率提升了 100%。
在這些新技術的加持下,搭載驍龍新平臺的智能手機不僅可以滿幀跑 3A 遊戲大作,還可以運行一系列終端側多模態生成式 AI 應用,帶來改變人們使用習慣的體驗,包括強大的 AI 影像功能、下一代遊戲 AI、超級智能助手等。
重構的不止硬件:大模型優化「呼朋喚友」
除了芯片本身,高通在做的另一件事是軟硬件的整合。驍龍 8 至尊版的發佈幾乎被辦成了一場生成式 AI 技術的 Demo 大會。
這塊移動芯片的發佈,獲得了各路科技公司大佬的祝福。在發佈時,OpenAI CEO 山姆・奧特曼、微軟 CEO 薩提亞・納德拉、Meta CEO 馬克・扎克伯格等人紛紛連線進行了背書。
這三位分別闡述了生成式 AI 在 PC、增強現實設備、大模型應用等方向的願景。此時此刻,他們都把目光聚焦在了端側 AI 上。
正如奧特曼所說,雲端和端側的生成式 AI 形態是互相成就的關係:服務器擅長訓練大模型,而利用端側設備的算力則可以保護個人隱私,同時提升服務的可靠性。
由於大語言模型相當耗費算力,此前生成式 AI 的技術落地大多是在雲端,將更多能力部署在端側則是未來的必然趨勢。除了微軟、Meta 等硅谷巨頭,很多國內廠商也同高通在新一代硬件上展開了合作。
致力於對標 OpenAI 的智譜就與高通共同宣佈,已圍繞驍龍 8 至尊版,對最新一代端側視覺大模型 GLM-4V進行了深度適配和推理優化。在端側部署後,手機等設備現在已可以支持豐富的多模態交互方式,讓人們獲得更加情境化、個性化的終端側智能體驗。
國內大廠騰訊的混元大模型,也在高通的幫助下完成了端側部署,在驍龍 8 至尊版移動平臺上,混元大模型 7B 和 3B 版本展示了優化後的運行表現。
結合高通完善的 AI 軟件棧,包括高通 AI 模型增效工具包(AIMET)等,驍龍 8 至尊版可以爲大語言模型提供從底層硬件到框架的全面優化。通過使用基於硬件的 INT4 量化技術,驍龍大幅提升了混元大模型在終端側的運行效率,端側推理可以做到首個 token 生成時延僅有 150ms,解碼速率超過了 30 token/s。
此前,騰訊混元大模型已爲騰訊自家的大量 App 提供了底層支持,包括微信輸入法、騰訊手機管家、QQ、騰訊視頻、QQ 瀏覽器、企業微信、騰訊會議等,覆蓋超過 700 個業務場景。
在經過高通技術棧的深度優化後,很多亟待落地的大模型已經達到了端側可用的程度。
比如,騰訊手機管家的短信智能識別功能,基於混元端側模型現在已經跑通,具備了更強的語義理解能力,可以更準確地理解短信意圖,短信召回率提高了將近 200%,識別準確率提升 20%。由於短信經常會涉及用戶的個人信息,端側 AI 還可以在保證出色性能的同時,有效保護用戶的個人信息隱私安全。
經過高通與合作伙伴們的整合,端側大模型從芯片到應用的優化路徑得以打通。或許在未來的某一天,你會發現天天在用的 App 在某次更新後,就多出了生成式 AI 功能。
端側 AI 堆棧,合縱連橫
推出了至尊版芯片的高通,其想要拓展的版圖還不止 PC 和移動端。
高通 CEO 安蒙在驍龍峰會上表示:「高通一直是推動無線通信產業發展進程的公司,也是最專注於無線技術的公司。但我們也積極迎接變化,高通不僅僅是一家專注無線連接的公司,更將成爲連接的計算公司以適應新時代的人工智能處理。更令人振奮的是,驍龍現在不僅引領着移動行業的創新,還在推動着其他行業的進步。」
上個月與驍龍 8 至尊版一同發佈的芯片,還有驍龍座艙至尊版(Snapdragon CocKpit Elite)和驍龍 Ride 至尊版(Snapdragon Ride Elite)平臺,它們專爲汽車定製,分別面向智能座艙和自動駕駛。
其中,驍龍座艙至尊版使用的 Oryon CPU 圍繞車用平臺進行了多方面的提升。它的 CPU 算力較上一代提升了三倍,AI 性能也有飛躍式增長,達到了前代產品的 12 倍。此外它也通過軟件虛擬化和多操作系統等機制,支持實現了車機任務的靈活的集中式處理,滿足了汽車安全標準。
現在,車廠能夠在同一塊 SoC 上無縫運行數字座艙和智能駕駛等功能,真正實現了近年來一直在追求的硬件架構統一。
驍龍座艙至尊版平臺和 Snapdragon Ride 至尊版平臺將於 2025 年出樣。理想汽車已經官方宣佈,將率先搭載高通最新發布的驍龍至尊版汽車平臺。
在驍龍峰會上,理想展示了自家智能座艙的一系列功能,從語音助手、旅行助手到智能問答。
驍龍至尊版汽車平臺是驍龍「數字底盤」解決方案組合中的最新產品,除了高算力的芯片,高通還提供智能駕駛和 AI 軟件棧體系,提供端到端的智能駕駛系統,具備視覺感知、傳感器融合、路徑規劃、定位和整車控制等先進特性。
在採用 Oryon CPU 的驍龍 8 至尊版發佈之後,再加上高通自研的 Adreno GPU、Spectra ISP 和 Hexagon NPU 等,高通補齊了自研 SoC 的最後一塊拼圖,也統一了 PC、手機、汽車三條產品線的芯片架構。
自研芯片架構的意義,在於能夠根據不同產品線的需求,對 CPU 進行微架構層面的調優和定製。與此同時,高通 AI 軟件棧(AI Stack)也在不同產品線的 AI 部署中作用顯著。
至此,從芯片、大模型到 App 的縱向,以及從手機、PC 到汽車的橫向,高通已經做到了 AI 能力的全鏈路打通。
正如大模型公司不斷通過新技術優化降低大模型使用門檻,高通的佈局正在幫助衆多 OEM 廠商和應用公司,把越來越多的生成式 AI 技術,從不可能變爲可能。
生成式 AI 可能會「無處不在」
大模型的落地推動到現在,人們已經越來越重視起端側能力的體驗。
從 AI 技術領域裡,研究「小模型」(SLM)的趨勢開始,在科技公司的努力下,端側模型從文本到圖像,再到多模態的一步步逐步落地。如今,高通端側芯片的 AI 能力,完整的開發平臺以及統一的生態體系,已經爲生成式 AI 的大規模應用鋪平了道路。
不過,高通的「至尊版」芯片只是起點。經由全鏈路的技術推動,我們還將見證不久的未來,很多事物改頭換面。
其實在最近的發佈活動中,我們已經看到了端倪。在《永劫無間》手遊的測試版本中,驍龍 8 至尊版除了利用 CPU、GPU 能力帶來高幀且穩定的遊戲體驗,還在端側跑起了 18 億參數的大語言模型。配合高通 AI 軟件棧從硬件到軟件的全棧優化,本站在手遊的端側直接打造出了 AI 隊友功能。
現在,玩家們在遊戲裡擁有了可以語音交互的 AI 隊友,他們在戰鬥過程中不僅能夠聽玩家指令行事,還會在你不會的時候進行提示。
如果說在手遊這樣高能耗的應用上,我們已能用得起大模型的智能體,那麼在日常的應用上,AI 智能體就更可以爲我們架起橋樑,讓很多功能實現高度的自動化,甚至消除 App 之間的壁壘。再延伸到 AI PC、汽車甚至機器人,高通的技術棧,或許還能把不同的硬件連成一體。
正如奧特曼所說,高通在所有邊緣端設備上都擁有強大的技術,能夠應用 AI 模型彙集全球幾十億用戶。現在僅僅是生成式 AI 的開始,未來將會出現什麼?是發揮想象力的時候了。