ManoMotion 演示 Demo

隨著 ARKit 和 ARCore 開發(fā)工具的發(fā)布，開發(fā)者們對 AR 內(nèi)容開發(fā)的熱情高漲。之前，國外開發(fā)者們有的把 ARKit 和蘋果機(jī)器學(xué)習(xí)框架 Core ML 相結(jié)合，通過手機(jī)攝像頭可自動(dòng)識(shí)別物體，并用 AR 效果呈現(xiàn)；還有的把 iPhone 放在紙盒眼睛中，也完成了 Inside-Out 的效果……但，這些還不是 ARKit 的終極玩法。

最近，有家公司把手勢識(shí)別加入了基于 ARKit 制作的 Demo 中，他們發(fā)明的新玩法又是什么樣呢？

據(jù)雷鋒網(wǎng)了解，這是一家名為 ManoMotion 的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)公司。日前，他們剛剛宣布將公司基于智能手機(jī)的手勢操作 SDK 融入蘋果 AR 開發(fā)工具 ARKit 中，用戶只需借助手機(jī)上已有的處理器和攝像頭便可在 AR 應(yīng)用中追蹤雙手。

該公司的 CEO Daniel Carlman 此前曾向 Venturebeat 表示，ManoMotion 的 3D 手勢識(shí)別技術(shù)可追蹤手部 27 個(gè)自由度，可自動(dòng)識(shí)別你是攤開五指，還是指向特定的物體，還可追蹤深度和動(dòng)態(tài)手勢，如擊打、點(diǎn)擊、輕拍、抓取、釋放等，所有這些對資源的耗費(fèi)相當(dāng)少。延遲少于 10 毫秒，并且只占用 iPhone 6s 30% 的處理能力。

現(xiàn)在，他們與 ARKit 結(jié)合后，用戶的手部可被識(shí)別，還能做出相應(yīng)的點(diǎn)擊動(dòng)作，如圖中用戶點(diǎn)擊小球，擊入桌子對面的杯子。

Carlman 談到，手機(jī)上的單目二維攝像頭可以檢測到手部的移動(dòng)，并將捕捉到的動(dòng)作融入到用 Unity 開發(fā)的 AR 內(nèi)容中。當(dāng)然，其他方法也能實(shí)現(xiàn)這點(diǎn)，如多目攝像頭、深度攝像頭，以及動(dòng)作捕捉。但是這些方法和技術(shù)十分昂貴，他們想解決如何更簡單地實(shí)現(xiàn)“手的臨在感”。

“目前，AR 技術(shù)還面臨很多限制，例如無法自然與 3D 空間中的物體交互。”Carlman 稱，“ ARKit 中加入手勢識(shí)別也是市場上第一次出現(xiàn)，我們期待看到開發(fā)者們會(huì)如何重新定義 AR 交互?！?br/>

ManoMotion 成立于 2015 年，目前有 14 名員工，已經(jīng)融資 200 萬美元。未來幾周，他們將發(fā)布可融入 ARKit 的 SDK，開發(fā)者可在公司官網(wǎng)下載，會(huì)最先支持 Unity iOS。

手勢識(shí)別是我們熟悉的交互方式，像 Leap Motion 也是大家熟知的手勢識(shí)別公司。手勢識(shí)別在 AR 中的應(yīng)用，最讓人雷鋒網(wǎng)編輯難忘的便是 HoloLens 了，把手指當(dāng)做鼠標(biāo)，可隨意拖動(dòng)視頻，控制菜單，確實(shí)很酷。但，把手勢識(shí)別用在手機(jī)的 AR 應(yīng)用上還是第一次見，雷鋒網(wǎng)編輯還是蠻期待的。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。