嚴格來說，視頻并不是一個交互媒介，因為觀眾只是接收訊息，并不能跟視頻里的畫面實時互動。

但是麻省理工學院（MIT）正在改變這一現(xiàn)實：該校計算機科學與人工智能實驗室（CSAIL）研發(fā)了一項新技術(shù)，讓觀眾可以伸出手“觸碰”并操控影像里的物體，就像在真實世界里一樣。

比如下圖里一個小人，本來是靜止的畫面，但是如果你在上面點擊并拖動鼠標，小人真的會因為你的動作而出現(xiàn)抖動或傾斜。

這個系統(tǒng)被稱為“交互動態(tài)視頻”（Interactive Dynamic Video），簡稱IDV。

技術(shù)原理：5秒視頻+振動模式+算法

IDV系統(tǒng)的技術(shù)原理是這樣的：每一個真實世界的物體都會受到來自外界的作用力，由此引發(fā)物體的振動。研究團隊用攝像機拍攝該物體最短5秒的視頻，然后用一個算法生成一個預測模型，預測出該物體在其他外力的作用下產(chǎn)生的振動模式。

所以上圖中的室內(nèi)的小人，在拍攝過程中，研究人員會在它站立的桌面上使勁拍打，使其產(chǎn)生振動。而這種振動，我們?nèi)祟惖娜庋蹘缀醪豢梢姟?/p>

IDV系統(tǒng)可以捕捉到非常細小的物體振動頻率。甚至一陣微風引起的振動也可以捕捉到，所以對于巨大的建筑物，這種模擬也可以實現(xiàn)。

而且令人興奮的一點是，這套系統(tǒng)里根本不需要3D輪廓重建的步驟。一般來說，模擬物體的運動，是需要3D建模的，但是這一過程非常昂貴，而且對于十分復雜的物體來說，其3D模型的構(gòu)造過程極其復雜。而IDV只需要5秒鐘的傳統(tǒng)視頻和一套算法，就可以實現(xiàn)運動模型的預測。

領(lǐng)導這個項目的是在CSAIL 實驗室攻讀博士學位的Abe Davis，他說：“這個技術(shù)可以讓我們捕捉到物體的物理動態(tài)，讓我們在虛擬空間中與拍攝的物體玩耍?！?今年年初，他和同樣是博士生的Justin G. Chen以及Fredo Durand教授共同發(fā)表了關(guān)于該項技術(shù)的論文。

應用：令人激動的AR領(lǐng)域

IDV的應用非常廣泛，比如工程師可以利用IDV來模擬在遭遇大風或地震等災害時的一座建筑物的狀況，而對于CG電影動畫制作者來說，制造一個虛擬的白宮或大橋倒塌的壯觀景象，也無疑更加容易了。

但其中最令人激動的就是和AR的結(jié)合。以如今大火的Pokemon Go為例，在現(xiàn)在的游戲界面里，小精靈只是單純“出現(xiàn)”在畫面里，就像一個貼紙一樣，如果你撥動這個小拉達后面的物體，它并不會受到任何影響。

而IDV可以讓虛擬的動畫角色跟真實的環(huán)境交互。一個虛擬的皮卡丘從草叢里一下子蹦出來，并帶動了草叢里的草，這效果就太逼真了，形成了所謂的“動態(tài)AR”。

IDV系統(tǒng)的出現(xiàn)無疑會推動人們對VR和AR技術(shù)的興趣和投入。它顯而易見的好處是可以大幅降低交互式AR體驗的開發(fā)成本，這點能夠鼓勵更多人參與到AR內(nèi)容的創(chuàng)作。人們都想證明AR的價值，而IDV正好預示著AR視頻巨大吸引力的未來。

Via MIT News

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。