在2025AI容器應用落地與發展論壇上,華為公司副總裁、數據存儲產品線總裁周躍峰博士在論壇上正式發布AI容器技術——Flex:ai,同時 ,華為聯合上海交通大學 、西安交通大學與廈門大學共同宣布,將此項產學合作成果向外界開源。
本次發布并開源的Flex:ai XPU池化與調度軟件,是基于Kubernetes容器編排平臺構建 ,通過對GPU、NPU等智能算力資源的精細化管理與智能調度,實現AI工作負載與算力資源的匹配,可大幅提升算力利用率。
當前 ,AI產業高速發展催生海量算力需求,但全球算力資源利用率偏低的問題日益凸顯 。
有業內人士對《科創板日報》記者表示,行業內算力資源的平均利用率僅為30%至40% ,甚至低于30%。小模型任務獨占整卡導致資源閑置,大模型任務單機算力不足難以支撐,大量缺乏GPU/NPU的通用服務器更是處于算力“休眠”狀態。
AI時代如何喚醒并高效利用算力集群資源 ,成為整個行業一大難題 。而容器技術作為一種輕量級虛擬化技術,可以將模型代碼、運行環境等打包成一個獨立的 、輕量級的鏡像,實現跨平臺無縫遷移。容器還可以按需掛載GPU、NPU算力資源,按需分配和回收“資源” ,提升集群整體資源利用率。
Gartner的分析師表示,目前AI負載大多都已容器化部署和運行,據預測 ,到2027年,75%以上的AI工作負載將采用容器技術進行部署和運行 。
在AI容器領域,業界已經有多家企業推出了不同產品。此前 ,英偉達于以7億美元(約合人民幣49.7億元)收購了以色列AI公司Run:ai。這家公司核心產品,正是基于Kubernetes構建的軟件平臺,用于調度GPU的計算資源 ,通過動態調度、池化 、分片等技術,實現GPU資源利用率的優化,讓深度學習訓練與推理任務在企業級環境中高效運行 。
本次華為發布并開源的Flex:ai XPU池化與調度軟件 ,與Run:ai公司的核心產品相比,在虛擬化、智能調度等方面實現了突破。
具體來看,針對AI小模型訓推場景中“一張卡跑一個任務 ”的資源浪費問題,華為與上海交通大學聯合研發XPU池化框架 ,可將單張GPU或NPU算力卡切分為多份虛擬算力單元,切分粒度精準至10%。這一技術實現了單卡同時承載多個AI工作負載,且通過彈性靈活的資源隔離技術 ,可實現算力單元的按需切分,“用多少,切多少” ,使此類場景下的整體算力平均利用率提升30%,提高單卡服務能力 。
針對大量通用服務器因缺乏智能計算單元而無法服務于AI工作負載的問題,華為與廈門大學聯合研發跨節點拉遠虛擬化技術。該技術將集群內各節點的空閑XPU算力聚合形成“共享算力池” ,一方面為高算力需求的AI工作負載提供充足資源支撐;另一方面,可讓不具備智能計算能力的通用服務器通過高速網絡,可將AI工作負載轉發到遠端“資源池 ”中的GPU/NPU算力卡中執行 ,從而促進通用算力與智能算力資源融合。
面對算力集群中多品牌、多規格異構算力資源難以統一調度的痛點,華為與西安交通大學共同打造Hi Scheduler智能調度器。該調度器可自動感知集群負載與資源狀態,結合AI工作負載的優先級 、算力需求等多維參數,對本地及遠端的虛擬化GPU、NPU資源進行全局最優調度 ,實現AI工作負載分時復用資源 。
周躍峰介紹,Flex:ai的發布主要希望推動AI平民化。“此前AI行業化落地的時候,醫院的某一個科室往往買8張卡 ,最多是16張卡。這樣小集群就很難進行粗放的GPU或NPU利用和調度 。能不能把一張卡虛擬化成多張卡,以更小的算力單元進行調度,讓每一張卡的算力能力能夠充分釋放出來 ,讓AI能夠平民化,這是Flex:ai軟件希望解決的問題。”
周躍峰表示,Flex:ai將在發布后同步開源在魔擎社區中。此外 ,華為還希望通過開源推動形成以AI容器技術為載體的資源高效利用新范式 。開源的Flex:ai可以在產學研各界開發者的參與下,共同推動異構算力虛擬化與AI應用平臺對接的標準構建,形成算力高效利用的標準化解決方案。
(文章來源:財聯社)
雙悅網配資-配資平臺_炒股配資平臺_配資炒股公司提示:文章來自網絡,不代表本站觀點。
雙悅網配資-配資平臺_炒股配資平臺_配資炒股公司?股票配資平臺提供多樣化的配資產品,滿足不同客戶的投資需求,助力客戶實現多元化投資。
3月24日,海洋王照明科技股份有限公司(以下簡稱“海洋王”,002724.SZ)早盤一字跌停,此后股價拉漲,尾盤封漲停板...
當地時間3月24日,特斯拉美股漲幅擴大至5%,現報262.055美元/股。...
國海富蘭克林基金國富深化價值基金經理劉曉日前發表了對?2025?年市場的展望。劉曉指出,國內經濟正處于復蘇通道,市場大幅...
記者辛圓3月25日,博鰲亞洲論壇旗艦報告《亞洲經濟前景及一體化進程2025年度報告》(以下簡稱《報告》...
記者王珍中國國際經濟交流中心副理事長、國務院發展研究中心原副主任王一鳴周一在“中國發展高層論壇2025...
【隔夜行情】?周五(2025年3月21日),A股三大指數集體下跌,截至收盤,截止收盤,滬指跌1.29%,報收33...
3月24日,AI眼鏡概念股開盤拉升,瀛通通訊直線漲停,明月鏡片漲超10%,比依股份、博士眼鏡、恒玄科技、國光電器等跟漲。...
近日,開源證券大連分公司遭大連證監局處罰,暫停其辦理需要合格投資者認定相關業務六個月。該懲處力度在近年來券商分支機構中并...
記者|趙陽戈年初,證監會就修改《證券發行與承銷管理辦法》部分條款向社會公開征求意見,市場也將注意力投向了...
記者辛圓給補貼、建平臺,為了吸引更多高層次人才,各地紛紛放出“大招”。據央廣網周一發布消息,湖...
3月24日,易方達國證自由現金流ETF公開發售。該產品跟蹤國證自由現金流指數,這個指數是什么?有哪些優勢?投資價值如何?...
2025年3月25日,倍輕松(688793.SH)公告稱,公司股東寧波倍松投資有限公司(簡稱“寧波倍松”)擬通過大宗交易...
國務院新聞辦公室9日發布《關于中美經貿關系若干問題的中方立場》白皮書,澄清中美經貿關系事實,闡明中方對相關問題的政策立場...
滬深兩市成交額連續第44個交易日突破1萬億,較昨日此時縮量超900億。...
3月24日,業內權威專家表示,MLF(中期借貸便利)不再有統一的中標利率,標志著MLF利率的政策屬性完全退出。3月24日...