近日， ICCV 2023第一屆OmniObject 3D挑戰(zhàn)賽和第五屆大規(guī)模視頻物體分割挑戰(zhàn)賽均落下帷幕，由我院廣西電力裝備智能控制與運(yùn)維重點(diǎn)實(shí)驗(yàn)室高放教授帶領(lǐng)的GXU-LIPE團(tuán)隊(duì)榮獲OmniObject3D挑戰(zhàn)賽3D物體生成賽道第二名以及大規(guī)模視頻物體分割挑戰(zhàn)賽視頻實(shí)例分割賽道第三名。
參與OmniObject3D挑戰(zhàn)賽3D物體生成賽道的GXU-LIPE團(tuán)隊(duì)由高放（教授）、雙豐（院長(zhǎng)）、於俊（中科大副教授）、鄭含博（副教授）、李少東（講師）、劉勇（碩士研究生）、金巖（博士研究生）、麻勝恒（校外合作伙伴）組成。團(tuán)隊(duì)針對(duì)3D 生成模型存在缺乏幾何和紋理細(xì)節(jié)等問(wèn)題，為了提高算法的生成性能，從模型架構(gòu)調(diào)整和訓(xùn)練優(yōu)化策略兩方面出發(fā)。在模型架構(gòu)調(diào)整層面，團(tuán)隊(duì)設(shè)計(jì)了更深的映射網(wǎng)絡(luò)，使模型能夠生成一個(gè)不跟隨訓(xùn)練數(shù)據(jù)分布的隱變量，從而減少特征糾纏，做到特征解耦；在訓(xùn)練優(yōu)化策略層面，團(tuán)隊(duì)提出了一種分階段的超參數(shù)調(diào)整策略，能夠在提升模型性能的同時(shí)縮短訓(xùn)練時(shí)間。此次比賽的參賽隊(duì)伍包括新加坡南洋理工大學(xué)、北京郵電大學(xué)等團(tuán)隊(duì)。
一、OmniObject3D挑戰(zhàn)賽
OmniObject3D挑戰(zhàn)賽由上海人工智能實(shí)驗(yàn)室發(fā)起，由 ICCV 2023 AI for 3D Content Creation Workshop承辦。在有限的觀測(cè)或隨機(jī)條件下，真實(shí)的三維物體重建及生成是一項(xiàng)巨大的挑戰(zhàn)，這類工作在各種視覺(jué)和機(jī)器人任務(wù)中有著廣泛的應(yīng)用。為了推動(dòng)這一領(lǐng)域的研究，上海人工智能實(shí)驗(yàn)室推出了 OmniObject3D 大型數(shù)據(jù)集，這是一個(gè)高質(zhì)量、真實(shí)掃描的三維物體數(shù)據(jù)集，并包含海量的物體種類，GXU-LIPE團(tuán)隊(duì)所參與的3D物體生成賽道著重選拔應(yīng)用于 OmniObject3D 數(shù)據(jù)集上的真實(shí) 3D 物體生成算法。
參與大規(guī)模視頻物體分割挑戰(zhàn)賽視頻實(shí)例分割賽道的GXU-LIPE團(tuán)隊(duì)由高放（教授）、於俊（中科大副教授）、雙豐（院長(zhǎng)）、金巖（博士研究生）、吳文杰（碩士研究生）、石磊（碩士研究生）、麻勝恒（校外合作伙伴）組成。團(tuán)隊(duì)針對(duì)跟蹤過(guò)程出現(xiàn)的突兀信息和幀率過(guò)低的問(wèn)題，設(shè)計(jì)了突兀信息過(guò)濾和形變補(bǔ)償，利用相鄰幀中的實(shí)例表示之間的相似性提升跟蹤器的區(qū)分能力，提高跟蹤方法的魯棒性。另一方面，形變補(bǔ)償可以更好地適應(yīng)低幀率視頻中的物體運(yùn)動(dòng)導(dǎo)致的劇烈變化，從而更準(zhǔn)確地捕捉物體在不同幀之間的關(guān)聯(lián)關(guān)系，達(dá)到提升了跟蹤的穩(wěn)定性和準(zhǔn)確性的目的。此次比賽的參賽隊(duì)伍包括武漢大學(xué)、北京航空航天大學(xué)、浙江大學(xué)、英國(guó)斯旺西大學(xué)、快手科技等團(tuán)隊(duì)。
二、大規(guī)模視頻物體分割挑戰(zhàn)賽
大規(guī)模視頻物體分割挑戰(zhàn)賽基于YouTube-VOS基準(zhǔn)，是由蘋果公司、豐田研究所、字節(jié)跳動(dòng)、英偉達(dá)Meta現(xiàn)實(shí)實(shí)驗(yàn)室聯(lián)合舉辦的視頻分割挑戰(zhàn)賽，其第一屆賽事在歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議ECCV 2018中舉辦。
視頻實(shí)例分割將圖像實(shí)例分割任務(wù)從圖像域擴(kuò)展到視頻域。新問(wèn)題旨在同時(shí)檢測(cè)、分割和跟蹤視頻中的對(duì)象實(shí)例。給定一個(gè)測(cè)試視頻，該任務(wù)不僅需要標(biāo)記預(yù)定義類別集的所有實(shí)例的掩碼，還需要關(guān)聯(lián)跨幀的實(shí)例標(biāo)識(shí)。該任務(wù)的目標(biāo)是最大限度地減少基本事實(shí)和假設(shè)之間的差異，一種好的視頻實(shí)例分割方法應(yīng)該能夠?qū)λ袑?shí)例具有良好的檢測(cè)率，可靠地跟蹤所有實(shí)例，并準(zhǔn)確地定位實(shí)例邊界。
這些挑戰(zhàn)賽的獲獎(jiǎng)體現(xiàn)了我院科研團(tuán)隊(duì)緊跟國(guó)際學(xué)科前沿，不斷取得國(guó)際先進(jìn)成果，助力我校“雙一流”建設(shè)。
學(xué)院新聞
當(dāng)前位置：