在機器人技術(shù)領(lǐng)域，精細(xì)操作能力一直是制約其廣泛應(yīng)用的關(guān)鍵瓶頸。傳統(tǒng)方法需要耗費大量計算資源對機器人主模型進行全面訓(xùn)練，不僅耗時漫長，且難以應(yīng)對工廠環(huán)境中對精準(zhǔn)度、靈活性和速度的嚴(yán)苛要求。如今，具身智能領(lǐng)域傳來突破性進展：Physical Intelligence團隊開發(fā)的RL token技術(shù)，使機器人僅需十幾分鐘至數(shù)小時的真實世界操作經(jīng)驗，即可掌握插網(wǎng)線、擰微型螺絲等高精度任務(wù)。

該技術(shù)的核心創(chuàng)新在于突破傳統(tǒng)訓(xùn)練范式。研究團隊沒有選擇對機器人主模型進行整體微調(diào)，而是為其添加了一個專門處理精細(xì)動作的"外掛模塊"——RL token。這一設(shè)計使機器人進化速度提升三倍，在特定任務(wù)中的操作速度甚至超越人類遠(yuǎn)程操控水平。以擰螺絲任務(wù)為例，機器人需在10厘米長的螺絲刀上實現(xiàn)亞毫米級定位精度，傳統(tǒng)方法因手腕微小偏差導(dǎo)致刀尖誤差放大的難題被成功攻克。

技術(shù)實現(xiàn)路徑包含兩大關(guān)鍵突破：首先是VLA模型改造，通過編碼器-解碼器結(jié)構(gòu)生成包含關(guān)鍵信息的RL token，將復(fù)雜觀察數(shù)據(jù)壓縮為極簡摘要；其次是輕量化強化學(xué)習(xí)系統(tǒng)，由Actor網(wǎng)絡(luò)輸出動作、Critic網(wǎng)絡(luò)評估效果，采用節(jié)省數(shù)據(jù)的off-policy訓(xùn)練方法。這兩個神經(jīng)網(wǎng)絡(luò)可直接部署在機器人本體，實現(xiàn)每秒數(shù)百次的實時更新，確保每次試錯后立即優(yōu)化行為策略。

研究團隊設(shè)計了四項極具挑戰(zhàn)性的測試任務(wù)：用電動螺絲刀安裝M3微型螺絲、系緊扎帶、插入網(wǎng)線及電源線。這些任務(wù)的成功關(guān)鍵在于最后數(shù)毫米的接觸精度，傳統(tǒng)基礎(chǔ)模型雖能完成前期動作，但在關(guān)鍵階段常因角度偏差或時機失誤導(dǎo)致失敗。RL token技術(shù)通過針對性強化學(xué)習(xí)，僅用15分鐘真實數(shù)據(jù)即可優(yōu)化這些"硬骨頭"環(huán)節(jié)。在插網(wǎng)線任務(wù)中，機器人經(jīng)過2小時訓(xùn)練（含15分鐘操作數(shù)據(jù)）后，不僅成功率顯著提升，半數(shù)操作速度更超越人類示范。

該技術(shù)的突破性在于建立了一套通用訓(xùn)練框架：通過預(yù)測動作塊保持與VLA模型的動作一致性，采用"修改而非推翻"的策略優(yōu)化現(xiàn)有動作，引入?yún)⒖紕幼鱠ropout機制防止模型惰性，并支持人類干預(yù)反饋。這些設(shè)計使在線強化學(xué)習(xí)成為可復(fù)用的解決方案，無需針對不同任務(wù)重新設(shè)計，即可直接應(yīng)用于各類精密操作場景。