国产国产乱老视频网站97|高中少女桑桑的日常小说|欧美高清v doso|男生和女生一起生孩子短视频|含精入睡的青梅HH|欲望都市游戏|夫妻主找奴

  • 虎科技 - 領(lǐng)先的互聯(lián)網(wǎng)科技媒體

面壁智能聯(lián)合發(fā)布BitCPM-CANN:國(guó)產(chǎn)算力助力端側(cè)大模型顯存紅利大釋放

   時(shí)間:2026-05-26 01:26 來(lái)源:互聯(lián)網(wǎng)作者:馮璃月

面壁智能近日攜手清華大學(xué)、OpenBMB開(kāi)源社區(qū),共同推出并開(kāi)源了其在低比特大模型訓(xùn)練領(lǐng)域的突破性成果——BitCPM-CANN。這一三值(1.58-bit)大模型不僅是中國(guó)首個(gè)完全基于國(guó)產(chǎn)算力平臺(tái)華為昇騰實(shí)現(xiàn)端到端訓(xùn)練的模型,更在技術(shù)層面實(shí)現(xiàn)了重要突破。

在5月23日的華為鯤鵬昇騰開(kāi)發(fā)者大會(huì)(KADC 2026)上,BitCPM-CANN首次亮相便引發(fā)了廣泛關(guān)注。如今,面壁智能決定將這一成果的全系列模型向全社會(huì)開(kāi)放,為端側(cè)大模型的發(fā)展注入新的活力。與傳統(tǒng)BF16精度相比,BitCPM-CANN在推理階段能夠釋放約6倍的顯存紅利,同時(shí)將模型能力保留率維持在90%至97.2%的高水平。這意味著,在相同的設(shè)備內(nèi)存下,可以承載更強(qiáng)大的模型能力;或者,在保持相同模型能力的情況下,所需內(nèi)存僅為過(guò)去的六分之一。

這一技術(shù)突破對(duì)于端側(cè)設(shè)備,尤其是手機(jī)來(lái)說(shuō),具有重大意義。以手機(jī)為例,未來(lái)有望在手機(jī)上運(yùn)行參數(shù)規(guī)模達(dá)到60B的大模型,這將極大提升手機(jī)的智能化水平。目前,“2-bit”量化已成為端側(cè)芯片行業(yè)的研究熱點(diǎn),也是實(shí)現(xiàn)手機(jī)上運(yùn)行更大參數(shù)模型的關(guān)鍵技術(shù)瓶頸之一。通過(guò)2-bit量化,模型權(quán)重可以被壓縮6至8倍,從而能夠存入手機(jī)閃存。例如,4GB內(nèi)存的手機(jī)可以存放16B的模型,若配合MoE與激活范圍約束技術(shù),甚至可以存放32B的模型;若內(nèi)存擴(kuò)大至8GB,則模型參數(shù)可擴(kuò)展至60B。

面壁智能表示,BitCPM-CANN的發(fā)布標(biāo)志著其高效大模型“小鋼炮”在端側(cè)落地能力上的進(jìn)一步提升。通過(guò)開(kāi)源這一成果,面壁智能不僅展示了自身在低比特大模型訓(xùn)練領(lǐng)域的技術(shù)實(shí)力,更為中國(guó)端側(cè)大模型賽道的發(fā)展貢獻(xiàn)了一份新的力量。這一成果的開(kāi)放,將有助于推動(dòng)端側(cè)大模型技術(shù)的普及和應(yīng)用,為智能設(shè)備的未來(lái)發(fā)展開(kāi)辟新的道路。

 
 
更多>同類(lèi)內(nèi)容
推薦圖文
推薦內(nèi)容
點(diǎn)擊排行
 
智快科技微信賬號(hào)
ITBear微信賬號(hào)

微信掃一掃
加微信拉群
電動(dòng)汽車(chē)群
科技數(shù)碼群