国产国产乱老视频网站97|高中少女桑桑的日常小说|欧美高清v doso|男生和女生一起生孩子短视频|含精入睡的青梅HH|欲望都市游戏|夫妻主找奴

  • 虎科技 - 領先的互聯網科技媒體

英偉達nGPT新架構來襲,AI訓練時間驟減20倍!

   時間:2024-10-22 10:25 來源:ITBEAR作者:蘇婉清

科技界迎來一項重大進展,英偉達在AI模型訓練領域取得了突破性成就。該公司最新發布的Normalized Transformer(nGPT)架構,在保持模型穩定性和準確性的同時,大幅縮短了訓練時間,最高可達原來的二十分之一。

nGPT架構的核心在于“超球面學習”概念,通過將關鍵組件映射到超球面表面,確保模型各層在訓練中的平衡,從而創造更穩定高效的學習過程。

與傳統的GPT模型相比,nGPT在速度和效率上均表現出色。在OpenWebText數據集測試中,nGPT對于長達4000個tokens的文本輸入,所需訓練輪次遠少于傳統模型。

nGPT還將歸一化和表示學習結合成一個統一框架,簡化了模型架構,便于擴展和適應更復雜的混合系統。這一創新設計有望為AI系統的發展帶來新的突破。

 
 
更多>同類內容
推薦圖文
推薦內容
點擊排行
 
智快科技微信賬號
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群