星凡科技，推理算力產品領航者

“星算計劃”由國星宇航、星凡科技聯合之江實驗室及行業頭部上市公司、科技獨角獸共同發起,旨在構建領先的地空一體化人工智能算力網絡。項目規劃2024年到2032年,完成3000顆太空算力衛星發射並組網,同時地面建設100個地基訓推一體化算力節點,建成後總算力預計將達到80000P。“星算計劃”打造的地面算力節點網絡系統性優勢,結合太空算力形成天數天算、地數地算的協同服務,助力千行百業等諸多領域完成數智化轉型,開啓智算服務新篇章。

星凡星啓(成都)科技有限公司(以下簡稱“星凡科技”)作爲國內領先的人工智能推理算力產品提供商,以其自有推理芯片“星核”及異構中間件加速平臺X-Boost爲基礎,爲“星算計劃”中全國的地面訓推一體化算力中心及太空衛星算力節點,打造高性能、低功耗的AI算力產品,助力“星算計劃”快速落地。

近年來,隨着人工智能的快速發展、大模型等技術應用對數據需求和模型參數的逐步上漲,對更大規模、更高性能的計算能力提出需求。而以Open AI發佈SORA、GPT-O1爲代表大模型、多模態,處理複雜問題的能力更強,推進大模型在更多領域的應用,從而催生推理算力需求的快速增長。

同時國產算力發展痛點也備受關注:算力中心建設成本高、性價比低、運營回本週期長;模型使用者算力成本高、單一芯片難滿足多元化算力需求、模型嫁接難適配難等都成爲迫在眉睫的問題。而星凡科技的軟硬一體算力產品給出了優質的解決方案。

星凡科技軟硬一體算力解決方案核心分爲硬件和軟件兩大部分。核心硬件,星凡科技採用自研“星核”大模型推理芯片,具有高併發、高吞吐、高能效、高性價比的特點,性能、功耗、顯存等核心指標處於國內前列水平,同時結合星凡獨創大模型壓縮方法,可使模型推理性能提升數倍,並保障模型壓縮後精度損失最小化。

軟件上,公司自研異構中間件加速平臺X-Boost,爲國內領先支持異構算力的全性能優化平臺。平臺向上深度適配主流大模型及各類傳統深度學習算法,向下兼容英偉達及國產主流芯片,解決模型適配難痛點,並提升大模型在國產芯片上推理性能。同時X-Boost內置公司自研大模型加速工具、算子優化工具等,針對大小模型均能實現在保證精度的前提下,最高可實現8倍綜合性能效提升,顯著提高計算資源利用率。

基於自有軟硬件、國內外主流AI芯片,星凡科技打造訓推一體化算力集羣、推理側算力集羣、超新星分佈式微算力中心等軟硬一體化AI算力產品,賦能算力中心建設方、垂直行業等客戶。產品實現算力集羣的SOP單元化,能以AI POD形式進行整體快速複製和縱向擴展,快速形成超大規模算力資源。同時在X-Boost的加持下,集羣吞吐量及可部署模型數量均提升1-2倍,最高可降低45%以上的算力中心運營電費成本,解決算力中心業主方、行業用戶建設成本高、運營回本週期長、算力使用貴等痛點。

目前,星凡科技軟硬一體算力產品獲得下游客戶的廣泛認可,並已支持多地區建設高性價比智算中心,並佈局拓展商業航天、政務、文創、交通等垂直行業。未來,星凡科技將繼續深化軟硬一體算力產品的技術創新與應用拓展,致力於構建更加高效、智能、綠色的算力生態體系。