近日，阿里云提出的計(jì)算池化解決方案“Aegaeon ”成功入選頂級學(xué)術(shù)會(huì)議SOSP 2025 ，該方案可解決AI模型服務(wù)中普遍存在的GPU資源浪費(fèi)問題 ，大幅提升GPU資源利用率，目前其核心技術(shù)已應(yīng)用在阿里云百煉平臺(tái)。
SOSP（操作系統(tǒng)原理研討會(huì)）由ACM SIGOPS主辦 ，是計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級學(xué)術(shù)會(huì)議 ，平均每年收錄的論文數(shù)量僅有數(shù)十篇，被譽(yù)為計(jì)算機(jī)操作系統(tǒng)界的“奧斯卡 ” ，入選論文代表了操作系統(tǒng)和軟件領(lǐng)域最具代表的研究成果 。本屆SOSP大會(huì)上 ，系統(tǒng)軟件與AI大模型技術(shù)的融合成為新的趨勢 。
數(shù)據(jù)顯示，在阿里云模型市場為期超三個(gè)月的Beta測試中 ，Aegaeon系統(tǒng)在服務(wù)數(shù)十個(gè)參數(shù)量高達(dá)720億的大模型時(shí) ，所需的英偉達(dá)H20 GPU數(shù)量從1192個(gè)減至213個(gè)，削減比例高達(dá)82%（見下圖）。GPU用量削減82%意味著公司硬件采購成本將顯著降低，這對于動(dòng)輒使用成千上萬張GPU的大型模型服務(wù)商至關(guān)重要 。
在真實(shí)的模型服務(wù)場景中 ，少數(shù)熱門模型（如阿里的Qwen）承載了絕大多數(shù)用戶請求 ，而大量不常被調(diào)用的“長尾”模型卻各自獨(dú)占著GPU資源 。數(shù)據(jù)顯示，在阿里云模型市場中 ，曾有17.7%的GPU算力僅用于處理1.35%的請求 ，資源閑置嚴(yán)重。
而Aegaeon系統(tǒng)通過GPU資源池化，打破了“一個(gè)模型綁定一個(gè)GPU ”的低效模式 。
Token級調(diào)度是該系統(tǒng)的核心創(chuàng)新點(diǎn) ，Aegaeon多模型混合服務(wù)系統(tǒng)在每次生成下一個(gè)token后動(dòng)態(tài)決定是否切換模型 ，實(shí)現(xiàn)精細(xì)化管理，同時(shí) ，通過組件復(fù)用 、顯存精細(xì)化管理和KV緩存同步優(yōu)化等全棧技術(shù) ，Aegaeon將模型切換開銷降低97%，確保了token級調(diào)度的實(shí)時(shí)性 ，可支持亞秒級的模型切換響應(yīng) 。
據(jù)介紹 ，Aegaeon系統(tǒng)支持單GPU同時(shí)服務(wù)多達(dá)7個(gè)不同模型，相比現(xiàn)有主流方案提升1.5-9倍的有效吞吐量，實(shí)現(xiàn)2-2.5倍的請求處理能力。
如何從底層系統(tǒng)軟件層面優(yōu)化 ，以更好地支撐和賦能上層AI應(yīng)用 ，已成為全球?qū)W術(shù)界和工業(yè)界關(guān)注的焦點(diǎn) 。未來AI的發(fā)展將不僅依賴于硬件算力的單純增長，更需要通過系統(tǒng)級的軟件創(chuàng)新來深度挖掘現(xiàn)有硬件的潛力 。
雙悅網(wǎng)配資-配資平臺(tái)_炒股配資平臺(tái)_配資炒股公司提示：文章來自網(wǎng)絡(luò)，不代表本站觀點(diǎn)。
雙悅網(wǎng)配資-配資平臺(tái)_炒股配資平臺(tái)_配資炒股公司?股票配資平臺(tái)提供多樣化的配資產(chǎn)品，滿足不同客戶的投資需求，助力客戶實(shí)現(xiàn)多元化投資。
3月24日，海洋王照明科技股份有限公司（以下簡稱“海洋王”，002724.SZ）早盤一字跌停，此后股價(jià)拉漲，尾盤封漲停板...
當(dāng)?shù)貢r(shí)間3月24日，特斯拉美股漲幅擴(kuò)大至5%，現(xiàn)報(bào)262.055美元/股。...
國海富蘭克林基金國富深化價(jià)值基金經(jīng)理劉曉日前發(fā)表了對?2025?年市場的展望。劉曉指出，國內(nèi)經(jīng)濟(jì)正處于復(fù)蘇通道，市場大幅...
記者辛圓3月25日，博鰲亞洲論壇旗艦報(bào)告《亞洲經(jīng)濟(jì)前景及一體化進(jìn)程2025年度報(bào)告》（以下簡稱《報(bào)告》...
記者王珍中國國際經(jīng)濟(jì)交流中心副理事長、國務(wù)院發(fā)展研究中心原副主任王一鳴周一在“中國發(fā)展高層論壇2025...
【隔夜行情】?周五（2025年3月21日），A股三大指數(shù)集體下跌，截至收盤，截止收盤，滬指跌1.29%，報(bào)收33...
3月24日，AI眼鏡概念股開盤拉升，瀛通通訊直線漲停，明月鏡片漲超10%，比依股份、博士眼鏡、恒玄科技、國光電器等跟漲。...
近日，開源證券大連分公司遭大連證監(jiān)局處罰，暫停其辦理需要合格投資者認(rèn)定相關(guān)業(yè)務(wù)六個(gè)月。該懲處力度在近年來券商分支機(jī)構(gòu)中并...
記者｜趙陽戈年初，證監(jiān)會(huì)就修改《證券發(fā)行與承銷管理辦法》部分條款向社會(huì)公開征求意見，市場也將注意力投向了...
記者辛圓給補(bǔ)貼、建平臺(tái)，為了吸引更多高層次人才，各地紛紛放出“大招”。據(jù)央廣網(wǎng)周一發(fā)布消息，湖...
3月24日，易方達(dá)國證自由現(xiàn)金流ETF公開發(fā)售。該產(chǎn)品跟蹤國證自由現(xiàn)金流指數(shù)，這個(gè)指數(shù)是什么？有哪些優(yōu)勢？投資價(jià)值如何？...
2025年3月25日，倍輕松(688793.SH)公告稱，公司股東寧波倍松投資有限公司（簡稱“寧波倍松”）擬通過大宗交易...
國務(wù)院新聞辦公室9日發(fā)布《關(guān)于中美經(jīng)貿(mào)關(guān)系若干問題的中方立場》白皮書，澄清中美經(jīng)貿(mào)關(guān)系事實(shí)，闡明中方對相關(guān)問題的政策立場...
滬深兩市成交額連續(xù)第44個(gè)交易日突破1萬億，較昨日此時(shí)縮量超900億。...
3月24日，業(yè)內(nèi)權(quán)威專家表示，MLF（中期借貸便利）不再有統(tǒng)一的中標(biāo)利率，標(biāo)志著MLF利率的政策屬性完全退出。3月24日...
