當(dāng)前速訊：OPPO發(fā)布最新AI技術(shù)，僅需幾部手機(jī)，便可生成一個(gè)能熟練舞蹈的“數(shù)字分身”

2022-08-25 16:43:56來(lái)源：中關(guān)村在線  

當(dāng)前，現(xiàn)實(shí)物理世界與虛擬數(shù)字世界從未如此特別地連接、發(fā)展著。很多人都?jí)粝脒^(guò)上科幻電影演繹的生活——自由地在兩個(gè)平行空間穿梭，運(yùn)用虛擬化身學(xué)習(xí)、工作、娛樂(lè)，開(kāi)啟無(wú)限可能的第二人生。


(資料圖)

OPPO正在將這樣的“數(shù)字分身”自由從理想照進(jìn)現(xiàn)實(shí)。通過(guò)自研結(jié)構(gòu)化局部輻射場(chǎng)動(dòng)態(tài)角色建模方法，OPPO在業(yè)界首次實(shí)現(xiàn)了自動(dòng)為寬松著裝人體創(chuàng)建動(dòng)態(tài)數(shù)字孿生體的工作。AI算法僅通過(guò)分析手機(jī)攝像頭拍攝的RGB視頻，即可自動(dòng)創(chuàng)建用戶的“三維化身”，還原動(dòng)態(tài)細(xì)節(jié)。

高效、便捷、易得，“數(shù)字分身”不再遙不可及

不穿戴全套動(dòng)作捕捉設(shè)備，還要低成本、高效率、高質(zhì)量的驅(qū)動(dòng)虛擬世界的人物行為，是一件非常復(fù)雜且精細(xì)的事情。在操作層面，OPPO簡(jiǎn)化了三維人體采集、掃描、修復(fù)等步驟的門檻，同時(shí)大大提升了真實(shí)性和便捷性。來(lái)到OPPO數(shù)字分身實(shí)驗(yàn)室，模特只需在室內(nèi)中央站好，舒展姿態(tài)，讓幾部OPPO Find X5 Pro手機(jī)進(jìn)行多角度的拍攝，便可以完成人體形態(tài)的初步記錄和數(shù)據(jù)收集，為更逼真的數(shù)字分身的生成打下基礎(chǔ)。

僅需幾部OPPO Find X5 Pro手機(jī)，便可以完成對(duì)模特人體形態(tài)的初步記錄和數(shù)據(jù)收集

與普遍使用2D圖片重建的方式不同，視頻錄制完成后，AI模型通過(guò)計(jì)算手機(jī)攝像頭拍攝的RGB數(shù)據(jù)，可以自動(dòng)生成3D人體模型，克服傳統(tǒng)方法導(dǎo)致的重建誤差。

AI模型通過(guò)計(jì)算手機(jī)攝像頭拍攝的RGB數(shù)據(jù)，可以自動(dòng)生成3D人體模型

為了進(jìn)一步打造數(shù)字世界的舞蹈明星，OPPO找到專業(yè)舞者，通過(guò)對(duì)他的動(dòng)態(tài)捕捉，預(yù)先錨定其舞動(dòng)時(shí)的骨骼狀態(tài)為節(jié)點(diǎn)，從而構(gòu)建一組結(jié)構(gòu)化的局部輻射場(chǎng)。

OPPO通過(guò)捕捉專業(yè)舞者的骨骼動(dòng)態(tài)，構(gòu)建一組結(jié)構(gòu)化的局部輻射場(chǎng)

局部輻射場(chǎng)可以模擬其相應(yīng)節(jié)點(diǎn)周圍局部空間內(nèi)的形狀和外觀，并根據(jù)身體姿態(tài)和服裝樣式的動(dòng)態(tài)細(xì)節(jié)進(jìn)行變化。值得一提的是，算法可以用殘差運(yùn)動(dòng)（residual movements）更好體現(xiàn)出舞蹈時(shí)衣裙擺動(dòng)的細(xì)微變化?；诖四Ｐ瓦壿嫞窠?jīng)網(wǎng)絡(luò)可以掌握多樣的舞種動(dòng)作，讓舞蹈夢(mèng)想觸手可及。未來(lái)，模型也可以不斷學(xué)習(xí)，支撐更多應(yīng)用場(chǎng)景，引領(lǐng)人們?nèi)ビH身經(jīng)歷各種超越想象力的互動(dòng)體驗(yàn)。

舞者的舞蹈姿勢(shì)經(jīng)過(guò)編碼和渲染，僅需幾小時(shí)，一個(gè)邁著酷炫流行舞步的“數(shù)字分身”最終生成。當(dāng)音樂(lè)響起，孿生體化身與真實(shí)舞者同臺(tái)“斗舞”，運(yùn)動(dòng)節(jié)拍準(zhǔn)確、利落，腳步靈動(dòng)，長(zhǎng)裙也隨著隨舞步變化而輕微起伏、搖曳，與現(xiàn)實(shí)中的舞者別無(wú)二致。

僅需幾小時(shí)，一個(gè)能熟練舞蹈的人體“數(shù)字分身”便可最終生成

立體、逼真、靈動(dòng)，OPPO AI的全面突破

這一系列有趣畫(huà)面的背后，是OPPO通過(guò)改進(jìn) NeRF（Neural Radiance Fields）創(chuàng)新的結(jié)構(gòu)化局部輻射場(chǎng)動(dòng)態(tài)角色建模方法。

傳統(tǒng)的創(chuàng)建3D建模方法在觀察和分離人體姿態(tài)與衣物形變之間面臨著很大困難。在神經(jīng)場(chǎng)景渲染技術(shù)的支持下，OPPO突破性地將傳統(tǒng)NeRF模型分解為一組結(jié)構(gòu)化的局部輻射場(chǎng)（structured local radiance fields），由身體骨架驅(qū)動(dòng)，動(dòng)態(tài)細(xì)節(jié)嵌入作為條件，提供了一種泛化性能更加的方案。

摒除了常見(jiàn)的全局規(guī)范場(chǎng)，局部輻射場(chǎng)表示方法可以更為細(xì)致的從粗到細(xì)分為三個(gè)層次：第一層是骨架運(yùn)動(dòng)；第二層是殘差運(yùn)動(dòng)；第三層是時(shí)間變化細(xì)節(jié)，通過(guò)分層處理避免反向蒙皮的缺點(diǎn)，解決模糊性問(wèn)題。由此一來(lái)，算法不僅在學(xué)習(xí)衣物logo、褶皺、層次和織物紋理等細(xì)節(jié)方面表現(xiàn)得更好，而且即使面對(duì)“未知”的場(chǎng)景，也能準(zhǔn)確生成。不久的將來(lái)，每個(gè)人都有機(jī)會(huì)創(chuàng)造自己的全動(dòng)畫(huà)數(shù)字孿生體，在數(shù)字世界表達(dá)另一個(gè)自我。

一直以來(lái)，OPPO致力于通過(guò)技術(shù)創(chuàng)新為美好生活注入更多靈感。在OPPO數(shù)字分身實(shí)驗(yàn)室，我們將繼續(xù)進(jìn)行基礎(chǔ)研究與應(yīng)用，賦能千行萬(wàn)業(yè)。在健康領(lǐng)域，用戶的數(shù)字分身可以還原肢體動(dòng)作，幫助用戶直觀看到自己的動(dòng)作形態(tài)與準(zhǔn)確度，實(shí)現(xiàn)AI智能識(shí)別糾錯(cuò)和指導(dǎo)，甚至可以提前創(chuàng)造出擁有完美身材的“自己”，讓居家健身更沉浸、更有趣；游戲動(dòng)畫(huà)設(shè)計(jì)師的創(chuàng)作靈感同樣能與數(shù)字分身碰撞出新的火花，未來(lái)游戲或?qū)⒒谡鎸?shí)人物動(dòng)態(tài)進(jìn)行塑造，從2D平面到3D立體，打造活靈活現(xiàn)的“真人化”原創(chuàng)角色；數(shù)字人作為虛擬世界的身份入場(chǎng)券，下一代XR融合場(chǎng)景、AR/VR世界中跨越時(shí)空的在線生活，也值得期待。

OPPO相信，數(shù)字分身將進(jìn)一步協(xié)助人類社會(huì)發(fā)展，在娛樂(lè)、時(shí)尚、通信等領(lǐng)域開(kāi)啟前所未有的體驗(yàn)，激發(fā)創(chuàng)造活力，開(kāi)啟更智慧、更多可能的未來(lái)。

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀