研究團隊通過實證分析發(fā)現，在典型編程任務場景中，智能體平均需要完成157輪交互，上下文長度累計達32.7K個語言單元，但每輪新增內容僅429個單元。這種"長上下文、短增量"的特性，使得鍵值緩存（KV-Cache）的加載效率成為決定系統(tǒng)性能的關鍵因素。實驗數據顯示，現有架構中存儲帶寬利用率存在嚴重失衡——預填充引擎的帶寬資源長期處于滿負荷狀態(tài)，而解碼引擎的帶寬資源卻有90%以上處于閑置狀態(tài)。

硬件發(fā)展趨勢進一步加劇了這種矛盾。以英偉達GPU架構演進為例，從Ampere到Blackwell架構，計算性能提升了14.4倍，但存儲帶寬和顯存容量的增長幅度不足3倍。這種計算與存儲能力發(fā)展的非對稱性，導致傳統(tǒng)預填充-解碼分離架構的吞吐量提升遭遇天花板。

該架構的實現面臨三大技術挑戰(zhàn)：首先是數據傳輸粒度控制，研究團隊設計了分層塊傳輸機制，將緩存數據切割為不同粒度的傳輸單元，使網絡開銷降低60%；其次是流量隔離技術，通過引入中心化網絡控制器和InfiniBand虛擬通道，確保關鍵計算任務不受數據加載影響；最后是動態(tài)調度算法，系統(tǒng)實時監(jiān)測GPU負載、網絡狀態(tài)和任務特征，自動調整預填充與解碼模塊的資源分配比例。

性能評估顯示，在包含6600億參數的DeepSeek-V3.2模型測試中，新架構在離線批處理場景下實現1.87倍吞吐量提升，在線服務場景的智能體處理能力提升近2倍。更值得關注的是其擴展性表現：在由1152塊GPU組成的集群測試中，系統(tǒng)從8節(jié)點擴展到144節(jié)點時，性能提升幅度達到理論值的92%，且延遲波動控制在5%以內。在44個預填充引擎+88個解碼引擎的配置下，系統(tǒng)吞吐量較基線系統(tǒng)提升22倍。