AI Phone：先是芯片，再是模型，最後纔是手機廠商

賣鏟子相比蜂擁去淘金，永遠是更好的選擇。

在大模型風靡全球、蘊含極大商業價值的今天，「先進鏟子」之間的競賽，正趨向白熱化。

大模型時代的掘金鏟子：AI計算加速芯片

如今的AI計算加速芯片眼花繚亂。GPU、NPU、TPU、VPU，新概念層出不窮，手機 SoC、PC 處理器、車端智駕和座艙芯片、高性能 AI 計算大規模服務器集羣，AI 計算加速幾乎無處不在。

然而萬變不離其宗，按計算的通用性，AI 計算大概可以分爲 CPU、GPU、FPGA、和 ASIC（NPU/TPU），按使用場景，可以分爲訓練芯片、雲端推理芯片和邊緣側的推理芯片。我們知道 CPU 遵循傳統的存儲-控制-運算的馮·諾依曼架構，核心是存儲程序/數據，串行順序執行。

CPU 的架構需要大量的空間去放置高速緩存單元和控制單元，現代 CPU 在分支預測和亂序執行上的要求更高，不斷新增的長指令集更進一步強化了複雜的邏輯控制單元，相比之下 CPU 計算單元只佔據了很小的一部分。大規模並行計算方面，CPU 天然的效率很低，更適合處理複雜的邏輯控制和通用計算。

與 CPU 相比，GPU 80% 以上的晶體管面積都是計算核心，即 GPU 擁有非常多的用於數據並行處理的計算單元，可以高效運行物理計算、比特幣挖礦算法等。GPU 還可以爲兩種，一種是主要搞圖形渲染的，我們熟悉的 GPU（遊戲）顯卡；另一種是主要搞計算的，叫做 GPGPU，也叫通用計算圖形處理器（科學計算），A100、H100 就是代表。GPGPU 芯片去掉了針對圖形渲染的專用加速硬件單元，但保留了 SIMT（單指令多線程）架構和通用計算單元，計算的通用性更強，可以適用於多種算法，在很多前沿科學計算領域，GPGPU 是最佳選擇。

FPGA 是一種半定製芯片，作爲靈活可編程的硬件平臺，同時具有較高的計算性能和可定製性，芯片硬件模塊、電路設計更爲靈活，但缺點是專用 AI 計算的效能比 ASIC 差一些。

ASIC 是一種爲專門目的而設計的芯片（全定製），根據特定算法定製的芯片架構，算力強大，但專業性強縮減了其通用性，算法一旦改變，計算能力會大幅下降，需要重新定製。我們知道的 NPU、TPU 就是這種架構，都屬於 ASIC 定製芯片。

CPU、GPU、NPU 架構區別如下圖，CPU 最爲均衡，可以處理多種類型的任務，各種組件比例適中；GPU 則減少了控制邏輯的存在但大量增加了 ALU 計算單元，提供給我們以高計算並行度；而 NPU 則是擁有大量 AI Core，這可以讓我們高效完成針對性的 AI 計算任務。

GPU 相比 CPU 有更多的並行計算核心NPU 相比 CPU 和 GPU，有大量專門進行大矩陣乘法和卷積運算的 AI Core

ASIC 思想下的 AI 芯片作爲一種專用處理器，通過在硬件層面優化深度學習算法所需的大矩陣乘法、張量運算、卷積運算等關鍵運算，可以顯著加速 AI 應用的執行速度，降低功耗。與在通用 CPU 上用軟件模擬這些運算相比，AI 芯片能帶來數量級的性能提升。因此，AI 芯片已成爲如今大模型訓練和推理的關鍵載體。

AI 專用處理器的發展最早可以追溯到 2015 年。2015 年 6 月，谷歌 I/O 開發者大會上推出第一代神經網絡計算專用芯片 TPU，專門用於加速 TensorFlow 框架下的機器學習任務。區別於 GPU，谷歌 TPU 是一種 ASIC 芯片方案，一般來說 ASIC 芯片開發時間長、研發成本高，服務於專用計算，實現的下游任務較爲固定和狹窄。此後，谷歌又陸續推出了多個 TPU 系列產品，不斷優化其架構和性能。

終端推理側的AI芯片：AI Phone的關鍵能力

儘管 AI 芯片的種類、實現的任務和部署形態多樣且複雜，但其功能最終可以歸結爲兩種：訓練和推理。

在訓練階段，AI 芯片需要支持大規模的數據處理和複雜的模型訓練。這需要芯片具有強大的並行計算能力、高帶寬的存儲器訪問以及靈活的數據傳輸能力。NVIDIA 最新的 H100 GPU、華爲昇騰 Ascend NPU、谷歌 TPU 等專門爲 AI 訓練設計的芯片，擁有超強的計算能力、超大顯存和極高的帶寬，能夠處理海量數據，特別適合訓練類似 GPT 等大語言模型。

在推理階段，AI 芯片需要在功耗、成本和實時性等方面進行優化，以滿足不同應用場景的需求。雲端推理通常對性能和吞吐量要求較高，因此需要使用高性能的 AI 芯片，邊緣和端側推理對功耗和成本更加敏感，因此需要使用低功耗、低成本的 AI 芯片，如專門爲桌面、移動和嵌入式設備設計的 NPU等。

英特爾最新的酷睿 Ultra 旗艦處理器，基於 x86 平臺的異構AI計算，集成的 GPU 和 NPU 性能越來越高。高通和 MediaTek 最新的高端移動處理器，針對不同任務的 AI 計算加速，整個 SoC 微架構上，NPU 的重要性也越來越突出。

相較於訓練芯片在雲端成爲某種“基礎設施”，端側的推理芯片則站在了 AI 應用的前沿。將訓練好的模型爲現實世界提供智能服務，特別是目前已經成爲“個人信息Hub”的手機終端，某種意義上已經成爲了普通人新生長出來的器官，當大模型與手機融合，不依賴網絡和雲端算力就能讓手機具備大模型能力，AI Phone 的商業想象力巨大。

高通 VS MediaTek ，最新的移動旗艦芯片

大模型推理正在向手機、PC、智能汽車等終端滲透。但是，在終端部署 AI 大模型時，仍面臨着多模態模型壓縮、存儲與計算瓶頸、數據傳輸帶寬限制、模型 always-on 設備功耗和發熱、軟硬件聯合調優等多重挑戰。特別是在手機端，芯片必須在保證高性能的同時，儘量降低功耗，這要求芯片設計在硬件架構和算法加速技術上進行優化，以提高計算效率並減少能源消耗。

以高通最新的驍龍旗艦芯片爲例，“爲了實現更快的 AI 推理性能，高通提升了所有（AI計算）加速器內核的吞吐量，還爲標量和向量加速器增加了更多內核，滿足增長的生成式AI運算需求，尤其是面向大語言模型(LLM)和大視覺模型(LVM)用例，以在處理過程中支持更長的上下文。至於大衆關心的能耗，高通這次將每瓦特性能提高 45%。終端更加高效，不需要大量消耗電池續航。”

根據高通的官方描述：高通最新的旗艦移動芯片，驍龍 8 至尊版首次採用了一系列領先技術，包括第二代定製的高通 Oryon CPU、全新切片架構的高通 Adreno GPU 和增強的高通Hexagon NPU，能夠爲用戶帶來終端體驗的全面革新。作爲高通迄今爲止最快的CPU，Oryon CPU 擁有 2 個主頻高達 4.32GHz 的超級內核和 6 個主頻 3.53GHz 的性能內核。其單核性能和多核性能相比前代均提升了 45%，瀏覽器性能提升了 62%，可爲大量的多任務處理、飛速網頁瀏覽和疾速遊戲響應體驗提供強大的性能和能效支持。同時，驍龍8至尊版還支持高達 10.7Gbps 速率的 LPDDR5X 內存，爲用戶帶來更爲豐富的終端側 AI 使用體驗。

基於全新的高通 Hexagon NPU，驍龍 8 至尊版首次支持終端側個性化多模態 AI 助手，能夠賦能規模更大且更加複雜的多模態生成式 AI 用例在終端側高效運行。在處理器上，高通 Hexagon NPU 增加了額外內核，擁有 6 核向量處理器和 8 核標量處理器，能夠進一步滿足生成式 AI 運算不斷增長的需求。

得益於在軟件上的不斷優化、Hexagon NPU 新增的處理器核心以及多模態模型，驍龍 8 至尊版能實現更快的 AI 處理速度。其 AI 性能提升了 45%，每瓦特性能提升 45%，並支持 70+ tokens/sec 的輸入，用戶可以上傳更大的文檔、音頻和圖像，讓手機在處理複雜任務時能夠更加遊刃有餘。

有了全新 Hexagon NPU 的支持，無論是在拍照時的智能識別與優化，還是遊戲中的實時渲染與計算，驍龍 8 至尊版都能爲用戶提供強大的 AI 引擎支持，幫助用戶能夠隨時隨地開啓靈感世界，創造無限可能。在影像處理能力上，通過 AI-ISP 和 Hexagon NPU 的深度融合，驍龍 8 至尊版可帶來突破性的拍攝體驗，讓用戶在拍照時得到更多的AI加持，其支持 4.3GP/s 像素處理能力，數據吞吐量相比上代提升了 33%，能夠支持三個 4800 萬像素圖像傳感器同時進行 30fps 視頻拍攝。

驍龍 8 至尊版支持無限語義分割功能，可以對圖像進行超過 250 層語義識別和分割，針對性優化圖像中的每個細節。在無限語義分割基礎上，驍龍 8 至尊版的實時皮膚和天空算法可以利用 Hexagon NPU 來識別光線條件並進行修圖，即使在光線條件不足的情況下，也能拍出具有自然效果的皮膚和天空色調。

基於Hexagon NPU，驍龍8至尊版還支持實時 AI 補光技術，讓用戶即使在近乎黑暗的環境下，也能生動記錄 4K 60fps 的視頻。在視頻通話或者直播時遇到背光情況，實時 AI 補光技術彷彿增加了一個虛擬的可移動光源，讓用戶時刻都能展現自己美好的一面。在強大算力的支持下，驍龍 8 至尊版還支持視頻魔法擦除功能，用戶可以直接在視頻中選擇需要擦除的對象將其消除，而無需將視頻上傳到雲端。

此外，驍龍 8 至尊版還擁有 AI 寵物拍攝套件，能夠清晰記錄萌寵們“放飛自我”的調皮時刻，無論是快速奔跑還是嬉戲打鬧，都能被精準捕捉。

在高通發佈驍龍 8 之前，多年蟬聯手機移動芯片市場份額第一的 MediaTek，也在最新的天璣 9400 旗艦芯集成 MediaTek 第八代 AI 處理器 NPU 890，在其支持下，天璣 9400 支持時域張量（Temporal Tensor）硬件加速技術、端側高畫質視頻生成技術，賦能端側運行 Stable Diffusion 的性能提升了 2 倍，不僅能夠實現高分辨率生圖，更支持端側動圖和視頻生成，實現更多新玩法。

根據 MediaTek 官方描述：天璣 9400 擁有強悍的端側多模態 AI 運算性能，處理能力高達 50 tokens/秒；運行各種主流大模型，平均功耗可節省 35%，爲手機終端用戶帶來更智慧、更省電的 AI 智能體互動。隨着大語言模型能力的提升，智能體多輪對話與複雜場景的判斷需求越來越重要。天璣 9400 已能支持到至高 32K tokens 的文本長度，是上一代的 8 倍!爲了強化端側模型的數據安全和個人隱私作用，MediaTek 天璣 9400 支持端側 LoRA 訓練，不用傳資料上雲，每位用戶在端側就可以安心享受實時的個性化訓練與生成，還可用個人照片創建各種畫風的數字形象，並更換各種姿勢和背景，讓隱私更安全。

AI Phone算力芯片的關鍵指標：Prefill階段首Token延遲，以及Decoding階段Token生成速率

無論雲端模型還是端側大模型，本質是“一堆參數”。手機終端執行大模型推理的過程：用戶輸入文本（提示詞，也即常說的 Prompt)編碼轉化爲向量，內存加載參數，激活參數執行 AI 計算，輸出向量解碼。大模型推理的基本流程，用戶提供一個 prompt（提示詞），手機運行的推理框架根據輸入的提示詞生成回答。推理過程通常分爲兩個階段：prefill 階段和 decoding 階段。在 Prefill 階段，內存加載模型參數，推理框架接收用戶的提示詞輸入，然後執行模型參數計算，直到輸出第一個 token。這個階段只運行一次，耗時較長。

接下來是 Decoding 階段，這個階段是一個自迴歸的過程，每次生成一個 token。具體來說，它會將上一時刻的輸出 token 作爲當前時刻的輸入，然後計算下一時刻的 token。如果用戶的輸出數據很長，這個階段就會運行很多次。Decoding 階段的 Token 吞吐率，即常說的推理速度 XXToken/sec。

如何評價不同品牌的AI Phone 的大模型運行性能的優劣？運行同樣參數尺寸（比如3B)的端側模型，模型的“知識密度”相同的情況下，Prefill 階段的首 Token 延遲，以及 Decoding 階段 Token 生成速率是兩個最直觀的指標，它直接反饋一款AI Phone運行大模型是否流暢，用戶體驗感知最明顯。當然 AI Phone 運行模型時的內存佔用壓縮，量化精度損失，AI Phone 運行的多模態模型和文本基座模型本身的性能和功能，模型層的優劣影響也是決定性的。一個高效壓縮、功能全面、性能強悍、跨算力平臺兼容性好的端側模型，還沒有公認的最強者。

目前，AI Phone 算力芯片支持的推理框架，適配優化支持的模型種類和數量，正在肉眼可見的增長和繁榮。端側模型運行在不同終端，針對不同 ASIC 芯片 NPU 的兼容，進行 AI 計算硬件加速和調度優化的空間還非常大，這是一個涉及終端廠商、芯片廠商、模型廠商三方的生態構建。誰能提前佈局，不辭辛勞更多做幕後看不到的“有用功”，大模型時代它一定獲得市場的“加速”。