11月21日下午，華為在上海舉辦“2025 AI容器應(yīng)用落地與發(fā)展論壇” ，會上正式發(fā)布并開源了創(chuàng)新AI容器技術(shù)Flex:ai 。
目前 ，行業(yè)內(nèi)算力資源的平均利用率僅為30%至40%，據(jù)華為介紹 ，F(xiàn)lex:ai通過算力切分技術(shù) ，將單張GPU（圖形處理器）/NPU（神經(jīng)網(wǎng)絡(luò)處理器）算力卡切分為多份虛擬算力單元，切分粒度精準(zhǔn)至10% 。此技術(shù)實(shí)現(xiàn)了單卡同時承載多個AI工作負(fù)載 ，在無法充分利用整卡算力的AI工作負(fù)載場景下 ，算力資源平均利用率可提升30%。
與英偉達(dá)旗下Run:ai只能綁定英偉達(dá)算力卡不同，華為AI容器技術(shù)Flex:ai通過軟件創(chuàng)新，可實(shí)現(xiàn)對英偉達(dá) 、昇騰及其他第三方算力資源的統(tǒng)一管理和高效利用 ，有效屏蔽不同算力硬件之間的差異 ，為AI訓(xùn)練推理提供更高效的資源支持 。
大幅提升算力資源利用率
據(jù)介紹，華為Flex:ai是基于Kubernetes容器編排平臺構(gòu)建的XPU池化與調(diào)度軟件 ，通過對GPU 、NPU等智能算力資源的精細(xì)化管理與智能調(diào)度 ，實(shí)現(xiàn)AI工作負(fù)載與算力資源的“精準(zhǔn)匹配 ”，大幅提升算力資源利用率 。
據(jù)了解 ，容器技術(shù)作為一種輕量級虛擬化技術(shù) ，可以將模型代碼、運(yùn)行環(huán)境等打包成一個獨(dú)立的 、輕量級的鏡像，實(shí)現(xiàn)跨平臺無縫遷移 ，解決模型部署“環(huán)境配置不一致 ”的痛點(diǎn)。容器還可以按需掛載GPU 、NPU算力資源 ，按需分配和回收“資源”，提升集群整體資源利用率 。
AI時代需要AI容器
根據(jù)Gartner的報告 ，目前AI負(fù)載大多都已容器化部署和運(yùn)行 ，據(jù)預(yù)測，到2027年，75%以上的AI工作負(fù)載將采用容器技術(shù)進(jìn)行部署和運(yùn)行 。
談及為什么推出Flex:ai AI容器技術(shù) ，華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰表示 ，傳統(tǒng)容器技術(shù)已無法完全滿足AI工作負(fù)載需求，AI時代需要AI容器。
具體而言 ，周躍峰表示 ，首先，大型語言模型(LLM)的容器鏡像輕松突破10GB ，多模態(tài)模型鏡像甚至可達(dá)TB級別 ，傳統(tǒng)容器無法支持超大鏡像的快速拉起，環(huán)境構(gòu)建時間往往長達(dá)數(shù)小時。
其次 ，傳統(tǒng)容器主要針對CPU（中央處理器） 、內(nèi)存等通用計算資源進(jìn)行管理與調(diào)度 ，而AI大模型訓(xùn)練與推理還需大幅依賴GPU 、NPU等智能算力資源，傳統(tǒng)容器無法對異構(gòu)智算資源做到算力細(xì)粒度切分與智能調(diào)度 ，導(dǎo)致即使很小的AI工作負(fù)載也獨(dú)占整張算力卡 ，且無法進(jìn)行遠(yuǎn)程調(diào)用 。
最后，傳統(tǒng)容器的資源調(diào)度以固定分配、通用調(diào)度為主，而AI工作負(fù)載的資源調(diào)度需要以保障任務(wù)完成效率為目標(biāo) ，對不同任務(wù)的特性進(jìn)行感知 ，實(shí)現(xiàn)動態(tài)彈性的資源分配 。
據(jù)介紹，與英偉達(dá)今年年初收購的Run:ai公司的核心產(chǎn)品相比 ，華為Flex:ai在虛擬化、智能調(diào)度等方面具備獨(dú)特優(yōu)勢。
具體來看 ，在本地虛擬化技術(shù)中，F(xiàn)lex:ai支持把單個物理GPU/NPU算力卡切割為數(shù)個虛擬算力單元 ，并通過彈性靈活的資源隔離技術(shù) ，可實(shí)現(xiàn)算力單元的按需切分 。
同時，F(xiàn)lex:ai獨(dú)有的“拉遠(yuǎn)虛擬化 ”技術(shù) ，可以在不做復(fù)雜的分布式任務(wù)設(shè)置情況下 ，將集群內(nèi)各節(jié)點(diǎn)的空閑XPU算力聚合形成“共享算力池 ”，此時不具備智能計算能力的通用服務(wù)器通過高速網(wǎng)絡(luò) ，可將AI工作負(fù)載轉(zhuǎn)發(fā)到遠(yuǎn)端“資源池”中的GPU/NPU算力卡中執(zhí)行 ，實(shí)現(xiàn)通用算力與智能算力資源融合 。
在智能調(diào)度方面，F(xiàn)lex:ai的智能資源和任務(wù)調(diào)度技術(shù)，可自動感知集群負(fù)載與資源狀態(tài) ，結(jié)合AI工作負(fù)載的優(yōu)先級 、算力需求等多維參數(shù) ，對本地及遠(yuǎn)端的虛擬化GPU 、NPU資源進(jìn)行全局最優(yōu)調(diào)度，滿足不同AI工作負(fù)載對資源的需求。
加速AI行業(yè)化落地
周躍峰表示 ，F(xiàn)lex:ai將在發(fā)布后同步開源在魔擎社區(qū)中 。Flex:ai將與華為此前開源的Nexent智能體框架、AppEngine應(yīng)用編排 、DataMate數(shù)據(jù)工程 、UCM推理記憶數(shù)據(jù)管理器等AI工具共同組成完整的ModelEngine開源生態(tài) ，加速賦能AI行業(yè)化落地 。
周躍峰表示，不同行業(yè)、不同場景的AI工作負(fù)載差異較大 ，通過開源 ，F(xiàn)lex:ai可提供提升算力資源利用率的基礎(chǔ)能力和部分優(yōu)秀實(shí)踐，與業(yè)界一道結(jié)合行業(yè)場景完成落地探索。
此外 ，華為還希望通過開源推動形成以AI容器技術(shù)為載體的資源高效利用新范式 。周躍峰說 ，開源的Flex:ai可以在產(chǎn)學(xué)研各界開發(fā)者的參與下，共同推動異構(gòu)算力虛擬化與AI應(yīng)用平臺對接的標(biāo)準(zhǔn)構(gòu)建 ，形成算力高效利用的標(biāo)準(zhǔn)化解決方案 。
東財圖解·加點(diǎn)干貨雙悅網(wǎng)配資-配資平臺_炒股配資平臺_配資炒股公司提示：文章來自網(wǎng)絡(luò)，不代表本站觀點(diǎn)。
雙悅網(wǎng)配資-配資平臺_炒股配資平臺_配資炒股公司?股票配資平臺提供多樣化的配資產(chǎn)品，滿足不同客戶的投資需求，助力客戶實(shí)現(xiàn)多元化投資。
3月24日，海洋王照明科技股份有限公司（以下簡稱“海洋王”，002724.SZ）早盤一字跌停，此后股價拉漲，尾盤封漲停板...
當(dāng)?shù)貢r間3月24日，特斯拉美股漲幅擴(kuò)大至5%，現(xiàn)報262.055美元/股。...
國海富蘭克林基金國富深化價值基金經(jīng)理劉曉日前發(fā)表了對?2025?年市場的展望。劉曉指出，國內(nèi)經(jīng)濟(jì)正處于復(fù)蘇通道，市場大幅...
記者辛圓3月25日，博鰲亞洲論壇旗艦報告《亞洲經(jīng)濟(jì)前景及一體化進(jìn)程2025年度報告》（以下簡稱《報告》...
記者王珍中國國際經(jīng)濟(jì)交流中心副理事長、國務(wù)院發(fā)展研究中心原副主任王一鳴周一在“中國發(fā)展高層論壇2025...
【隔夜行情】?周五（2025年3月21日），A股三大指數(shù)集體下跌，截至收盤，截止收盤，滬指跌1.29%，報收33...
3月24日，AI眼鏡概念股開盤拉升，瀛通通訊直線漲停，明月鏡片漲超10%，比依股份、博士眼鏡、恒玄科技、國光電器等跟漲。...
近日，開源證券大連分公司遭大連證監(jiān)局處罰，暫停其辦理需要合格投資者認(rèn)定相關(guān)業(yè)務(wù)六個月。該懲處力度在近年來券商分支機(jī)構(gòu)中并...
記者｜趙陽戈年初，證監(jiān)會就修改《證券發(fā)行與承銷管理辦法》部分條款向社會公開征求意見，市場也將注意力投向了...
記者辛圓給補(bǔ)貼、建平臺，為了吸引更多高層次人才，各地紛紛放出“大招”。據(jù)央廣網(wǎng)周一發(fā)布消息，湖...
3月24日，易方達(dá)國證自由現(xiàn)金流ETF公開發(fā)售。該產(chǎn)品跟蹤國證自由現(xiàn)金流指數(shù)，這個指數(shù)是什么？有哪些優(yōu)勢？投資價值如何？...
2025年3月25日，倍輕松(688793.SH)公告稱，公司股東寧波倍松投資有限公司（簡稱“寧波倍松”）擬通過大宗交易...
國務(wù)院新聞辦公室9日發(fā)布《關(guān)于中美經(jīng)貿(mào)關(guān)系若干問題的中方立場》白皮書，澄清中美經(jīng)貿(mào)關(guān)系事實(shí)，闡明中方對相關(guān)問題的政策立場...
滬深兩市成交額連續(xù)第44個交易日突破1萬億，較昨日此時縮量超900億。...
3月24日，業(yè)內(nèi)權(quán)威專家表示，MLF（中期借貸便利）不再有統(tǒng)一的中標(biāo)利率，標(biāo)志著MLF利率的政策屬性完全退出。3月24日...
