端側AI經過兩年多的發展,大模型正向更輕量化方向演進 。當前 ,3B模型正逐步取代7B模型,成為端側AI應用的主流選擇。
在2025 vivo開發者大會上,vivo發布了專為端側智能體打造的3B多模態推理大模型 ,該模型具備128K長上下文處理能力,極限出詞速度超過每秒200個token。OpenAI也持續布局輕量化,不久前推出的輕量語音模型GPT-realtime-mini ,適用于移動端與邊緣設備 。
展望未來,手機AI與操作系統的深度融合,將為用戶打造高度“個人化 ”的服務體驗。然而,實現這一愿景也對手機的算力、內存和功耗提出了更高要求。此外 ,端側AI還需進一步融入日常剛性場景,并解決安全授權等行業標準不完善等問題 。
端側大模型從7B走向3B
vivo AI全球研究院院長周圍在接受《科創板日報》采訪時表示,今年vivo重點聚焦于3B模型上進行各種多模態的實現和聚合。相較13B和7B模型 ,3B模型所占用的內存更少,對高端機性能影響更小。
“去年我們做了13B和7B端側模型的實現,發現其實只有7B勉強能上線 ,但是7B模型在手機上跑得不太理想,因為占的內存比較大。直到今年發現3B端側模型效果不錯,我們把內存做到只占2G ,并大幅度增強推理能力,幾乎可以用于做意圖中控和任務拆解的中臺 。”
除了3B模型外,vivo還在探索更低功耗的1B模型。“3B的模型在運行時要750毫安(功耗)。而端側大模型對手機的應用遠比我們想象要廣得多 ,需要一個大模型24小時都在線,實現對本機的實時監測和記憶,這可以交給1B模型 。”
周圍透露,vivo正在推動圖像識別 、聲音識別 ,包括同傳、方言識別等全部端側化,這對于手機內存提出了更高的要求。“端側化有一個問題,就是平臺的算力要夠 ,內存配置要夠,至少達到8G以上的配置。如果4G內存的中低端手機,用戶可能用的是云端功能 ,而云端功能在某種意義上是要消耗大量的成本 。 ”
模型參數量與性能指標如何取得平衡?
一名手機業內人士表示,大模型落地到端側,最關鍵的難點在于模型的參數量與性能指標之間的平衡。“手機端的硬件資源非常有限 ,包括芯片算力、內存都很有限。而手機的功耗也是非常重要的指標 。模型參數量越大,就意味著消耗的計算量越大,對功耗也就越高。”
“如何平衡模型效果與手機上的這些體驗指標 ,是一大問題。如果把模型參數量選的非常大,那么計算量就很高,直接帶來的問題是速度變慢,用戶體驗的延遲就會非常久 。另外 ,內存占用也會很大,比如7B模型的內存占用可能在 3-4GB 左右,這會導致系統的流暢性會受到一些影響 ,功耗隨之升高,手機掉電非常快,發熱也會變嚴重。”上述業內人士稱。
《科創板日報》注意到 ,為了推動AI落地,蘋果最新發布的iPhone 17系列的Air 、Pro、Pro Max三款機型升級至12GB,以實現更強大的端側AI支持。
IDC中國研究經理郭天翔表示 ,手機廠商這幾年已逐漸從最開始的7B端側模型,轉換到3B模型,原因就在于該量級的模型對算力的要求、功耗 、輸出速度等可以獲得更好的均衡 。
AI與操作系統逐步融合
除了vivo外 ,OPPO、榮耀等廠商也在積極推動端側AI的落地。榮耀在今年7月發布的Magic V5是搭載了阿里通義大模型和飛豬旅行、高德地圖等AI智能體手機。
周圍認為,端側AI的終局是Agent(智能體) 。vivo希望進一步深化AI和操作系統的融合,深度理解用戶個人情景和偏好,創造“個人化 ”服務體驗。
vivo AI產品總經理關巖冰透露 ,目前正在與高德、百度 、支付寶、飛豬等互聯網企業在智能體方面開展合作,未來一個月原系統 6(OriginOS 6)會有大量智能體逐步上線。
不過,智能體在安全授權方面仍存在權責界定不清的問題 ,尤其在用戶隱私保護、數據使用規范以及權限邊界劃分等方面尚缺乏明確標準,相關行業規范仍有待逐步建立與完善 。
“當智能體,特別是手機智能體要做任務的時候 ,如果只做廠商自己的功能和應用,比如說秀一下是否流暢 、調一下亮度、連接一下Wi-Fi。都沒有問題,但是想跨應用 ,那么安全授權的標準仍有待探討。我們作為終端廠商,也在積極推動行業標準的建立 。”周圍說。
此外,關巖冰也坦言 ,智能體在響應用戶需求方面,尚未能有效解決用戶的實際問題。“我們正將資源和精力集中于為用戶解決問題的場景上,并持續加大投入 。”
郭天翔認為,端側模型的應用將主要通過Agent來體現 ,但是對于消費者來說使用感知依然不是特別明確,并沒有完全融入到日常的剛性使用場景中。他表示,未來手機AI 將與 OS完全融合 ,由一個經過訓練的個性化的私人Agent作為手機使用者的助手,可以給使用者主動提出建議,執行多重復雜任務。
(文章來源:科創板日報)
雙悅網配資-配資平臺_炒股配資平臺_配資炒股公司提示:文章來自網絡,不代表本站觀點。
雙悅網配資-配資平臺_炒股配資平臺_配資炒股公司?股票配資平臺提供多樣化的配資產品,滿足不同客戶的投資需求,助力客戶實現多元化投資。
3月24日,海洋王照明科技股份有限公司(以下簡稱“海洋王”,002724.SZ)早盤一字跌停,此后股價拉漲,尾盤封漲停板...
當地時間3月24日,特斯拉美股漲幅擴大至5%,現報262.055美元/股。...
國海富蘭克林基金國富深化價值基金經理劉曉日前發表了對?2025?年市場的展望。劉曉指出,國內經濟正處于復蘇通道,市場大幅...
記者辛圓3月25日,博鰲亞洲論壇旗艦報告《亞洲經濟前景及一體化進程2025年度報告》(以下簡稱《報告》...
【隔夜行情】?周五(2025年3月21日),A股三大指數集體下跌,截至收盤,截止收盤,滬指跌1.29%,報收33...
記者王珍中國國際經濟交流中心副理事長、國務院發展研究中心原副主任王一鳴周一在“中國發展高層論壇2025...
3月24日,AI眼鏡概念股開盤拉升,瀛通通訊直線漲停,明月鏡片漲超10%,比依股份、博士眼鏡、恒玄科技、國光電器等跟漲。...
近日,開源證券大連分公司遭大連證監局處罰,暫停其辦理需要合格投資者認定相關業務六個月。該懲處力度在近年來券商分支機構中并...
記者|趙陽戈年初,證監會就修改《證券發行與承銷管理辦法》部分條款向社會公開征求意見,市場也將注意力投向了...
記者辛圓給補貼、建平臺,為了吸引更多高層次人才,各地紛紛放出“大招”。據央廣網周一發布消息,湖...
3月24日,易方達國證自由現金流ETF公開發售。該產品跟蹤國證自由現金流指數,這個指數是什么?有哪些優勢?投資價值如何?...
2025年3月25日,倍輕松(688793.SH)公告稱,公司股東寧波倍松投資有限公司(簡稱“寧波倍松”)擬通過大宗交易...
國務院新聞辦公室9日發布《關于中美經貿關系若干問題的中方立場》白皮書,澄清中美經貿關系事實,闡明中方對相關問題的政策立場...
滬深兩市成交額連續第44個交易日突破1萬億,較昨日此時縮量超900億。...
3月24日,業內權威專家表示,MLF(中期借貸便利)不再有統一的中標利率,標志著MLF利率的政策屬性完全退出。3月24日...