近日，歷時(shí)2個(gè)月的CVPR 2024具身智能研討會(huì)視觸覺操作技能挑戰(zhàn)賽ManiSkill-ViTac落下帷幕，我院高放教授帶領(lǐng)的ILLUSION團(tuán)隊(duì)在本次挑戰(zhàn)賽中榮獲冠軍。

本次獲獎(jiǎng)的ILLUSION團(tuán)隊(duì)由蔡運(yùn)翔、李雪濤、麻勝恒、鄭海強(qiáng)四位成員組成。5月17日，該團(tuán)隊(duì)將以比賽冠軍身份參加ICRA2024第五屆ViTac國際研討會(huì)（Robot Embodiment through Visuo-Tactile Perception），我院控制工程專業(yè)2022級(jí)研究生蔡運(yùn)翔將作為團(tuán)隊(duì)代表在會(huì)上做學(xué)術(shù)報(bào)告。

獲獎(jiǎng)證書

據(jù)了解，本次Maniskill-ViTac挑戰(zhàn)賽由清華大學(xué)、美國加州大學(xué)圣地亞哥分校以及倫敦國王學(xué)院聯(lián)合舉辦。ManiSkill系列挑戰(zhàn)賽致力于讓機(jī)器人學(xué)習(xí)到可泛化的物體操作技巧，旨在訓(xùn)練出像人類一樣能與3D世界互動(dòng)的具身智能機(jī)器人。與歷屆ManiSkill賽事不同，本次ManiSkill-ViTac挑戰(zhàn)賽提供了通用觸覺傳感器的物理仿真平臺(tái)和搭建了現(xiàn)實(shí)觸覺傳感器機(jī)器人評(píng)估平臺(tái)。作為視覺觸覺領(lǐng)域的首個(gè)公開賽事，本次比賽提出插銷(peginteration)和開鎖(lock opening)的任務(wù)訓(xùn)練及評(píng)估，旨在推動(dòng)基于視覺觸覺的操作技能學(xué)習(xí)在具身智能和機(jī)器人應(yīng)用中的突破。

基于視覺觸覺傳感器的插銷任務(wù)的仿真與實(shí)驗(yàn)

ILLUSION團(tuán)隊(duì)針對(duì)初期模型訓(xùn)練低下的問題，從基線收集演示數(shù)據(jù)，基于成功率、完成步數(shù)和抖動(dòng)情況三個(gè)指標(biāo)篩選出專家數(shù)據(jù)，采用了混合專家數(shù)據(jù)的生成式對(duì)抗模仿學(xué)習(xí)方法，對(duì)TD3強(qiáng)化學(xué)習(xí)框架進(jìn)行權(quán)重預(yù)訓(xùn)練。同時(shí)，對(duì)策略網(wǎng)絡(luò)引入了噪聲來提高模型的魯棒性。在微調(diào)階段，該團(tuán)隊(duì)也設(shè)計(jì)了多階段的微調(diào)策略來提高模型的表征能力。

基于視覺觸覺傳感器的開鎖任務(wù)的仿真與實(shí)驗(yàn)

據(jù)悉，此次比賽也吸引包括清華大學(xué)、浙江大學(xué)、同濟(jì)大學(xué)、倫敦國王學(xué)院、南洋理工大學(xué)、新加坡科技研究局（ASTAR）及信息通訊研究所（I2R）等國內(nèi)外知名高校和科研機(jī)構(gòu)參與。該挑戰(zhàn)賽的獲獎(jiǎng)體現(xiàn)了我院近年來緊跟國際學(xué)科前沿，全面提升人才培養(yǎng)質(zhì)量，緊扣“雙一流”學(xué)科建設(shè)取得成效。