在大模型技術飛速發展的當下，混合專家模型（MoE）已成為眾多頂尖模型的核心架構。從GPT-5到DeepSeek-V3，這些性能卓越的模型背后，都離不開MoE架構的支撐。然而，MoE模型在實際應用中卻面臨著一個棘手的問題——專家同質化現象。在預訓練過程中，本應各展所長的多個專家模塊，卻常常出現功能趨同的情況，導致大量參數無法有效發揮作用，模型的擴展能力也因此受到限制。

針對這一難題，一支來自阿里巴巴的研究團隊提出了創新性的解決方案——專家分化學習策略。該團隊深入研究發現，MoE預訓練過程中信息缺失是導致專家同質化的根本原因?；诖?，他們巧妙利用預訓練數據中天然存在的領域標簽，設計了一種全新的輔助損失函數。這一函數通過鼓勵不同領域的數據在路由統計信息上呈現差異，促使各個專家模塊發展出獨特的專業能力，從而有效解決了專家同質化問題。

傳統MoE訓練中使用的負載均衡損失函數，雖然能夠提高整體路由多樣性，但卻存在明顯缺陷。它只關注專家是否被充分利用，而忽視了不同領域數據對專家的差異化需求。這就如同企業管理中，只追求員工忙碌程度，而不考慮工作內容的合理性，最終導致資源浪費和效率低下。阿里巴巴團隊提出的專家分化學習策略，則從根本上改變了這一局面。

該策略的核心在于專家分化損失函數（LED）的設計。研究團隊通過數學推導發現，總路由多樣性可以分解為域間多樣性和域內多樣性兩部分。傳統方法盲目提升總多樣性，導致模型傾向于通過增加域內多樣性來應付訓練，而新提出的LED函數則精準鎖定域間多樣性，通過最大化不同領域之間的"排斥力"，迫使專家模塊實現功能分化。這一創新設計，為MoE模型訓練提供了全新的思路。

LED函數的實現過程包含三個關鍵步驟：首先，在訓練過程中識別不同領域的數據特征；其次，使用JS散度這一數學工具計算不同領域間的分布差異；最后，通過優化算法最大化這些差異。這個過程可以形象地理解為：將不同領域的專家"推"向模型空間的邊緣位置，使它們各自專注于特定領域，形成專業化的分工體系。這種明確的監督信號，使得模型能夠學習到與語義高度契合的路由策略。

研究團隊通過實驗驗證了不同粒度領域標簽對模型性能的影響。他們構建了粗粒度（3類）和細粒度（49類）兩種標簽體系進行對比訓練。實驗結果顯示，使用49類細粒度標簽訓練的模型在各項指標上均顯著優于3類標簽模型。這一發現表明，專家分工越細致，模型展現出的專業能力就越強。這為MoE模型的優化提供了重要參考。

在性能驗證方面，研究團隊在30億、80億和150億參數規模的模型上進行了大規模預訓練。實驗結果表明，采用專家分化學習策略的模型在語言建模損失上持續優于傳統MoE模型。在MMLU、C-eval等7個主流基準測試中，新模型全面超越基線，特別是在150億參數規模下，平均得分提升超過1個百分點。這一成績在預訓練領域具有重要意義，通常意味著需要數百億 tokens的額外訓練才能達到同等效果。

可視化分析進一步證實了專家分化學習的有效性。通過三角單純形圖展示，傳統MoE模型的專家激活點集中在圖形中央，表明不同領域數據激活的專家高度相似；而采用新策略的模型，專家激活點明顯向三個頂點發散，證明不同領域的數據已經能夠激活完全不同的專家模塊，實現了真正的專業化分工。這種直觀的對比，充分展現了新方法在解決專家同質化問題上的顯著效果。

值得一提的是，專家分化學習策略在計算效率方面也表現出色。LED函數的計算僅涉及路由器輸出的低維向量運算，對訓練吞吐量幾乎沒有影響。實驗數據顯示，新方法的訓練速度與傳統MoE模型保持一致，且不需要額外的推理成本。這一特性使得該策略在實際應用中具有很高的可行性，為大規模模型訓練提供了高效的解決方案。