Inflection AI 爲何棄英偉達 GPU 選英特爾 Gaudi 3

在打破常規的趨勢消息裡，Inflection AI 透露其最新的企業平臺將放棄英偉達 GPU 而採用英特爾的 Gaudi 3 加速器。...

“雖然 Inflection AI 的 Pi 客戶應用此前在英偉達 GPU 上運行，但 Inflection 3.0 將由 Gaudi 3 提供支持，實例在本地或由[Tiber] AI 雲來提供支持，”英特爾表示。

Inflection AI 於 2022 年起步，是一家開發名爲 Pi 的對話式個人助理的模型構建企業。然而，今年春天，關鍵創始人穆斯塔法·蘇萊曼（Mustafa Suleyman）和卡倫·西蒙尼安（Karén Simonyan）離職前往微軟後，這家初創公司已將重點轉向爲企業使用其數據構建定製的微調模型。

這家初創公司平臺的最新版本 - Inflection 3.0 - 旨在使用其自己的專有數據集對其模型進行微調，目標是構建整個企業特定的 AI 應用程序。英特爾本身將是首批採用該服務的客戶之一，這着實讓我們懷疑 Inflection 有沒有爲加速器付全價。

雖然 Inflection 將在 Gaudi 3 加速器上運行該服務，但它似乎短期內不會搭建系統。與託管在 Azure 中的 Inflection 2.5 類似，最新版本將在英特爾的 Tiber AI 雲服務上運行。

不過，該公司確實覺得需要物理基礎設施，至少對於那些更願意將數據保留在本地的客戶來說是這樣。自 2025 年第一季度起，Inflection 計劃提供基於英特爾 AI 加速器的物理系統。

我們要指出的是，僅僅因爲這家 AI 初創公司藉助 Gaudi 3 加速器爲其企業平臺提供支持，並不意味着客戶在運行其完成的模型時就只能使用它們。

人工智能模型和軟件的開發成本可不低，和英偉達的 H100 一比，英特爾的 Gaudi 3 就相對實惠些。“通過在英特爾上運行 Inflection 3.0，我們發現價格性能提升了多達兩倍……與當前的競爭產品相比，”Inflection AI 首席執行官肖恩·懷特在週一的博客文章中寫道。

起碼從書面上來看，Gaudi 3 不但有希望在訓練和推理方面比英偉達大名鼎鼎的 H100 更快，而且價格還更低。

在 4 月的英特爾願景大會上有消息稱，Habana Lab 的 Gaudi 3 加速器具備 128GB 的 HBM2e 內存，帶寬高達 3.7Tbps，密集 FP8 或 BF16 性能達 1835 萬億次浮點運算。

在 8 位精度下，它大致和 H100 旗鼓相當

但在 16 位精度下，它所提供的密集浮點性能近乎是 H100 的兩倍，這對 Inflection 所瞄準的訓練和微調工作負載有着重大影響

英特爾在人工智能領域處於劣勢地位，而且該芯片主流供應的時機不太好，恰值英偉達的 Blackwell 和 AMD 288GB MI325X GPU 推出之時，這兩款產品都將在第四季度上市，所以，英特爾對其加速器的定價相當激進。

在今年春季的臺北國際電腦展上，英特爾首席執行官帕特·格爾辛格宣稱，一個配備了八個加速器的單個 Gaudi 3 系統僅需 12.5 萬美元，大約是同等 H100 系統的三分之二。

在最近的記憶中，轉折並非英特爾近來取得的唯一佳績。8 月，藍色巨人（IBM）宣佈將在 IBM 雲中部署英特爾的 Gaudi 3 加速器，預計在 2025 年初上線。

往後看，IBM 計劃將對 Gaudi 3 的支持擴展到其 watsonx AI 平臺。與此同時，英特爾告訴 El Reg，該加速器已向包括戴爾技術和超微在內的原始設備製造商交付。

雖然讓主要的原始設備製造商認真對待 Gaudi 對英特爾來說是一場勝利，但這個平臺的未來充滿變數。正如我們之前報道的那樣，Gaudi 3 是 Habana-Labs 開發的加速器最後的奮力一搏。

從明年起，Gaudi 會被一款叫做 Falcon Shores 的 GPU 所取代，它會將英特爾的 Xe 圖形 DNA 和 Habana 的技術相融合，這引發了有關遷移路徑的合理疑問。

英特爾一直宣稱，對於在諸如 PyTorch 這類高級框架中進行編碼的客戶而言，遷移將基本無縫。對於那些在較低級別構建 AI 應用程序的客戶，這家芯片製造商已承諾在 Falcon Shores 首次登場之前提供額外的指導方針。 ®