在人工智能領(lǐng)域，一項名為mHC（流形約束超連接）的新架構(gòu)技術(shù)引發(fā)了廣泛關(guān)注。這項由DeepSeek團(tuán)隊提出的技術(shù)，旨在解決傳統(tǒng)超連接在大規(guī)模模型訓(xùn)練中面臨的不穩(wěn)定性難題，為深度神經(jīng)網(wǎng)絡(luò)的發(fā)展開辟了新的路徑。

自2016年何愷明提出“殘差連接”以來，這種允許信息“走捷徑”的設(shè)計便成為構(gòu)建深度神經(jīng)網(wǎng)絡(luò)的核心方法。它通過在神經(jīng)網(wǎng)絡(luò)中設(shè)置“快捷通道”，讓信息能夠跳過某些層，有效緩解了深層網(wǎng)絡(luò)訓(xùn)練困難的問題。近年來，超連接技術(shù)在此基礎(chǔ)上進(jìn)一步發(fā)展，增加了更多并行的“道路”和連接方式，試圖進(jìn)一步提升網(wǎng)絡(luò)的性能。然而，這種增強并非毫無代價，它削弱了神經(jīng)網(wǎng)絡(luò)“原樣傳遞”信息的能力，導(dǎo)致訓(xùn)練過程變得不穩(wěn)定，尤其是在模型規(guī)模不斷擴(kuò)大的情況下，這一問題愈發(fā)突出。

mHC技術(shù)的出現(xiàn)，為解決這一難題提供了新的思路。其核心在于通過數(shù)學(xué)方法，將復(fù)雜的連接方式約束在特定的“形狀”空間內(nèi)，也就是流形空間。流形可以理解為一種特定形狀的曲面或空間結(jié)構(gòu)，通過這種約束，mHC技術(shù)恢復(fù)了神經(jīng)網(wǎng)絡(luò)穩(wěn)定傳遞信息的能力，即恒等映射特性。恒等映射特性指的是神經(jīng)網(wǎng)絡(luò)能夠“原樣”傳遞輸入信息的能力，這是訓(xùn)練穩(wěn)定的關(guān)鍵所在。

實驗數(shù)據(jù)充分證明了mHC技術(shù)的有效性。在擁有27B參數(shù)的混合專家模型上，mHC展現(xiàn)出了穩(wěn)定的訓(xùn)練曲線。與基線相比，最終損失降低了0.021，同時在BBH推理任務(wù)上，相比傳統(tǒng)HC提升了2.1%。這一成果表明，mHC技術(shù)不僅在理論上具有創(chuàng)新性，在實際應(yīng)用中也具有顯著的優(yōu)勢。

除了理論上的突破，DeepSeek團(tuán)隊還為mHC架構(gòu)開發(fā)了一系列基礎(chǔ)設(shè)施優(yōu)化措施。他們利用TileLang框架實現(xiàn)了多個融合內(nèi)核，將原本分散的操作合并執(zhí)行，從而減少了內(nèi)存訪問次數(shù)，提高了計算效率。針對Sinkhorn - Knopp算法，團(tuán)隊設(shè)計了專門的前向和反向內(nèi)核，在芯片上重新計算中間結(jié)果，避免了存儲開銷。在流水線并行方面，團(tuán)隊擴(kuò)展了DualPipe調(diào)度策略，通過將MLP層的特定內(nèi)核放在高優(yōu)先級計算流上執(zhí)行，實現(xiàn)了計算與通信的重疊，進(jìn)一步提升了系統(tǒng)的整體性能。

這些優(yōu)化措施使得mHC在保持性能優(yōu)勢的同時，顯著減少了額外開銷，為大規(guī)模模型的訓(xùn)練和應(yīng)用提供了更加高效、穩(wěn)定的解決方案。mHC技術(shù)的成功研發(fā)，對人工智能行業(yè)產(chǎn)生了深遠(yuǎn)的影響。訓(xùn)練穩(wěn)定性和可擴(kuò)展性的提升，使得大模型在更復(fù)雜的場景中落地成為可能。例如，需要超大規(guī)模參數(shù)的多模態(tài)模型、工業(yè)級的智能決策系統(tǒng)等，都能夠從mHC技術(shù)中受益。特別是對于算力有限的中小AI企業(yè)而言，這意味著他們能夠嘗試開發(fā)更復(fù)雜的大模型，降低了大模型研發(fā)的門檻，為行業(yè)的多元化發(fā)展注入了新的活力。

在論文的結(jié)論與展望部分，研究人員指出，mHC作為HC范式的廣義拓展，為未來研究開辟了多個重要方向。通過深化對拓?fù)浣Y(jié)構(gòu)如何影響優(yōu)化與表征學(xué)習(xí)的理解，mHC有望突破現(xiàn)有局限，為下一代基礎(chǔ)架構(gòu)的演進(jìn)指明新的路徑。目前，行業(yè)內(nèi)人士已經(jīng)開始預(yù)測，這項創(chuàng)新技術(shù)或?qū)?yīng)用到DeepSeek下一代模型中，有望帶來比肩國際頂尖水平的性能突破，進(jìn)一步推動人工智能技術(shù)的發(fā)展。