當(dāng)前位置：主頁(yè) > 資訊 >

MoSculp：MIT CSAIL用AI從2D視頻創(chuàng)3D打印的運(yùn)動(dòng)雕塑

來(lái)源：narkii 瀏覽數(shù)：
責(zé)任編輯：六月芳菲時(shí)間：2018-09-20 16:39

分享到：

[導(dǎo)讀] 由于用于研究運(yùn)動(dòng)的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構(gòu)。

對(duì)運(yùn)動(dòng)的理解是所有生物物種的基礎(chǔ)，無(wú)論它是在計(jì)算投球的角度，還是看到捕食者和獵物的運(yùn)動(dòng)。但簡(jiǎn)單的視頻實(shí)際上無(wú)法給我們?nèi)娴牧私狻?由于用于研究運(yùn)動(dòng)的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構(gòu)。

圖片由麻省理工學(xué)院CSAIL提供

現(xiàn)在麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室，谷歌研究所和加州大學(xué)伯克利分校的研究人員已經(jīng)提出了一種人工智能（AI）系統(tǒng)來(lái)展示人體如何運(yùn)動(dòng)。

該系統(tǒng)被稱為MoSculp，它使用的算法可以拍攝2D視頻并將其轉(zhuǎn)換為3D打印的“運(yùn)動(dòng)雕塑”。它可以為職業(yè)運(yùn)動(dòng)員，舞者或任何想要提高身體技能的人提供更詳細(xì)的運(yùn)動(dòng)研究。

“想象一下，你有一個(gè)關(guān)于羅杰費(fèi)德勒在網(wǎng)球比賽中投球的視頻，以及一個(gè)自己學(xué)習(xí)網(wǎng)球的視頻，”博士生張秀明說(shuō)。 “然后你可以建立兩種情景的動(dòng)作雕塑來(lái)比較它們，并更全面地研究你需要改進(jìn)的地方。”

圖片來(lái)源：Jason Dorfman / MIT CSAIL

以下是它在實(shí)踐中的工作原理：將視頻加載到系統(tǒng)后，MoSculp將檢測(cè)到的關(guān)鍵點(diǎn)覆蓋在輸入幀上，并通過(guò)幾個(gè)隨機(jī)選擇的幀確認(rèn)它們。（內(nèi)置的校正工具可以讓用戶在必要時(shí)進(jìn)行調(diào)整。）在校正“暫時(shí)不一致的檢測(cè)”后，它會(huì)生成運(yùn)動(dòng)雕塑并將其加載到自定義界面中。

這是一個(gè)多步驟過(guò)程，所有MoSculp需求都是視頻序列。以下是它的工作原理：將視頻加載到系統(tǒng)后，MoSculp會(huì)首先自動(dòng)檢測(cè)拍攝對(duì)象身體上的2D關(guān)鍵點(diǎn)，例如芭蕾舞女演員的髖關(guān)節(jié)，膝關(guān)節(jié)和踝關(guān)節(jié)，同時(shí)進(jìn)行復(fù)雜的舞蹈序列。然后，它將這些點(diǎn)的最佳姿勢(shì)轉(zhuǎn)化為3D“骨架”。

圖片來(lái)源：Jason Dorfman / MIT CSAIL

將這些骨架拼接在一起后，系統(tǒng)會(huì)生成一個(gè)可以3D打印的運(yùn)動(dòng)雕塑，顯示主體追蹤的平滑，連續(xù)的運(yùn)動(dòng)路徑。用戶可以在雕塑周?chē)鷮?dǎo)航并定制他們的圖形以聚焦于不同的身體部位，分配不同的材料以區(qū)分部件，甚至自定義照明，然后使用3D打印機(jī)進(jìn)行打印。

在試驗(yàn)期間，研究人員發(fā)現(xiàn)超過(guò)75％的受試者認(rèn)為MoSculp提供了比標(biāo)準(zhǔn)攝影技術(shù)更詳細(xì)的運(yùn)動(dòng)學(xué)習(xí)可視化。

該系統(tǒng)最適合較大的動(dòng)作，例如在舞蹈序列中投球或進(jìn)行一次飛躍。它也適用于可能阻礙或復(fù)雜運(yùn)動(dòng)的情況，例如穿著寬松衣服或攜帶物品的人。

目前，MoSculp僅使用單一主題視頻，但該團(tuán)隊(duì)希望擴(kuò)展到多個(gè)人。在未來(lái)，他們相信它可以用于研究諸如社交障礙，人際交往和團(tuán)隊(duì)動(dòng)態(tài)之類(lèi)的事情。

第一作者張秀明帶著團(tuán)隊(duì)的一部“動(dòng)感雕塑”。

照片：Jason Dorfman / MIT CSAIL

“舞蹈和高技能運(yùn)動(dòng)通常看起來(lái)像'移動(dòng)雕塑'，但它們只會(huì)形成稍縱即逝的短暫形狀，”Adobe傳播負(fù)責(zé)人Courtney Brigham說(shuō)。 “這項(xiàng)工作展示了如何采取動(dòng)作并將其轉(zhuǎn)化為具有客觀運(yùn)動(dòng)可視化的真實(shí)雕塑，為運(yùn)動(dòng)員提供了一種分析他們的訓(xùn)練動(dòng)作的方式，不需要比移動(dòng)攝像機(jī)更多的設(shè)備和一些計(jì)算時(shí)間。”

該團(tuán)隊(duì)將于下個(gè)月在德國(guó)柏林的用戶界面軟件和技術(shù)（UIST）會(huì)議上展示他們的論文（“MoSculp：形狀和時(shí)間的交互式可視化”）。

cr.3ders

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與納金網(wǎng)無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

TAGS：3D打印 AI