無需人工干預，也不依賴預設腳本，一個通用GUI智能體正通過自主觀察屏幕、分析局勢、規(guī)劃操作路徑并執(zhí)行點擊，在消消樂游戲中展現(xiàn)出色表現(xiàn)。這種能力并非游戲外掛的專屬，而是源于對屏幕內容的深度理解與交互操作——從手機應用到網頁瀏覽，其技術邏輯完全一致。當AI能獨立完成消消樂這類需要空間推理與決策的任務時，距離其替代人類完成日常手機操作還有多遠？這里的“替代”并非簡單執(zhí)行語音指令，而是像人類一樣通過視覺識別界面元素、理解交互邏輯，并逐步完成復雜任務。

當前GUI智能體研究面臨系統(tǒng)性挑戰(zhàn)：訓練、評測與部署三個環(huán)節(jié)長期割裂。模型在仿真環(huán)境中訓練后，往往難以無縫遷移至真實設備；評測標準不統(tǒng)一導致不同框架的結果難以橫向比較；部署環(huán)節(jié)更需獨立搭建基礎設施，整體推進成本高昂。針對這一困境，ZJU-REAL團隊推出開源框架ClawGUI，構建了覆蓋GUI智能體全生命周期的解決方案。該框架整合了在線強化學習訓練、標準化評測與真機部署三大模塊，形成端到端驗證的完整流水線：通過ClawGUI-RL進行模型訓練，利用ClawGUI-eval開展性能評估，最終借助OpenClaw-GUI實現(xiàn)真實設備部署。

在訓練環(huán)節(jié)，ClawGUI-RL突破傳統(tǒng)方案局限，將基礎設施拆解為環(huán)境管理、獎勵設計與策略優(yōu)化三層架構。環(huán)境層統(tǒng)一抽象物理手機與Docker虛擬機的接口，訓練代碼無需區(qū)分底層設備類型；獎勵層創(chuàng)新采用二元結果獎勵與PRM逐步獎勵的混合機制，既在任務結束時給出成功/失敗信號，又對每步操作的有效性進行實時評估，有效緩解GUI長序列決策中的獎勵稀疏問題；策略優(yōu)化層支持GRPO、GiGPO等主流算法，提供標準化接口便于研究者靈活切換。實驗數(shù)據(jù)顯示，基于2B參數(shù)的ClawGUI-2B模型在MobileWorld基準測試中取得17.1%的成功率，較基線模型提升54%，性能接近8B參數(shù)的競品。

評測體系的標準化是推動技術進步的關鍵。ClawGUI-eval通過“推理-判斷-指標”三階段流水線，將評測復現(xiàn)率提升至95.8%。該框架覆蓋ScreenSpot-Pro等6大基準測試集，支持Qwen3-VL等11種模型評估。團隊在實踐過程中總結出關鍵經驗：坐標系混淆會導致準確率歸零，圖文輸入順序差異可能引發(fā)數(shù)個百分點波動，系統(tǒng)提示詞需嚴格對齊官方版本，溫度參數(shù)建議設為0.0以保證坐標精度。這些發(fā)現(xiàn)已全部開源，為研究者提供可復用的方法論。

真機部署能力直接決定技術落地價值。基于nanobot框架構建的OpenClaw-GUI，實現(xiàn)了通過自然語言控制真實手機的功能。該系統(tǒng)支持Android、鴻蒙、iOS三大操作系統(tǒng)，可接入飛書、QQ等12個主流聊天平臺。用戶發(fā)送指令后，智能體將自動完成截屏解析、操作規(guī)劃與執(zhí)行全流程。更值得關注的是，其集成的評測功能允許用戶直接查詢模型性能指標——例如要求“測試qwen3vl在screenspot-pro上的表現(xiàn)”，系統(tǒng)會自動完成環(huán)境檢測、多GPU推理、結果計算與對比分析。這種CLI與GUI的協(xié)作模式，既發(fā)揮了命令行接口的高效處理能力，又保留了圖形界面的直觀交互優(yōu)勢。

盡管CLI智能體在代碼生成等領域表現(xiàn)突出，但研究團隊認為GUI智能體仍具有不可替代性。首先，圖形界面是移動互聯(lián)網的主要交互入口，外賣、社交等核心場景依賴視覺呈現(xiàn)；其次，大量應用缺乏開放API，GUI操作成為唯一接入方式；GUI的“可見性”提供了天然的信任機制——用戶可實時監(jiān)控關鍵操作，必要時介入干預。不過，GUI智能體的發(fā)展仍面臨挑戰(zhàn)：真實App的反爬機制、動態(tài)UI變化等問題，對在線強化學習的穩(wěn)定性提出更高要求。ClawGUI-RL通過Spare Server輪轉機制與周期性重啟策略，為解決這些問題提供了初步方案。

該項目已開源全部代碼，包含可擴展的移動端在線強化學習基礎設施、標準化評測套件與真機部署方案。開發(fā)者可通過GitHub訪問項目倉庫，或通過項目主頁獲取詳細文檔與演示案例。這項研究不僅驗證了GUI智能體的技術可行性，更為通用人工智能的發(fā)展探索了新的路徑——當訓練、評測與部署形成閉環(huán)，人機協(xié)作將進入更高效的階段。