靈初智能近日發(fā)布了其首個(gè)基于強(qiáng)化學(xué)習(xí)（RL）的端到端具身模型 Psi R0。該模型通過雙靈巧手協(xié)同操作，能夠完成復(fù)雜的長(zhǎng)程任務(wù)，并具備跨物品、跨場(chǎng)景的泛化能力。

Psi R0 在電商場(chǎng)景中表現(xiàn)尤為突出。以商品打包為例，這一任務(wù)涉及抓取、掃碼、放置、塑料袋打結(jié)等多個(gè)操作步驟。Psi R0 能夠流暢地完成這一系列動(dòng)作，官方表示，該模型在客戶現(xiàn)場(chǎng)可以取代一個(gè)完整工位。

該模型通過海量仿真數(shù)據(jù)訓(xùn)練出雙手操作的智能體，并采用雙向訓(xùn)練框架串聯(lián)多技能，率先在開放環(huán)境中完成長(zhǎng)程任務(wù)。其技能訓(xùn)練框架從物體時(shí)空軌跡中抽象出關(guān)鍵信息，構(gòu)建通用目標(biāo)函數(shù)，解決了獎(jiǎng)勵(lì)函數(shù)難設(shè)計(jì)的問題。

在后訓(xùn)練階段，Psi R0 通過少量高質(zhì)量真機(jī)數(shù)據(jù)對(duì)齊，進(jìn)一步提升長(zhǎng)程任務(wù)的成功率。雙向訓(xùn)練框架中的轉(zhuǎn)移可行性函數(shù)則微調(diào)技能，提高串聯(lián)的成功率與泛化性，使模型在遭遇操作失敗時(shí)能夠迅速調(diào)整策略，確保高成功率。