編者按：蘇格蘭盲人畫家在微軟的研究項(xiàng)目 The Oregon Project 幫助下重拾信心，繼續(xù)繪畫創(chuàng)作。然而 The Oregon Project 的意義不僅于此，它通過建立一個(gè) 3D 聲音場景使失明、弱視患者能通過配音欣賞繪畫作品內(nèi)容。本文原文發(fā)表于 Microsoft Research Blog，原文題目是“Interpreting visual art with sound for a more inclusive experience”。由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可，謝絕轉(zhuǎn)載。

蘇格蘭有一位頗有名氣的風(fēng)景畫家 Keith Salmon。 他從古老崎嶇的蘇格蘭高地獲得靈感，將山和天際線用縹緲且富有感情的抽象手法表現(xiàn)出來。不幸的是，Salmon 很多年來受到視力下降的困擾，這對(duì)于一個(gè)風(fēng)景畫家是致命的。受過美術(shù)和雕塑訓(xùn)練的 Salmon 通過豐富自己的創(chuàng)作技巧來克服感官的不足。他不得不減少畫中的風(fēng)景寫實(shí)，而更著重于對(duì)原野氣息抽象、繁妙的表達(dá)。

“ Arran 島的冬天”，Keith Salmon

由于糖尿病視網(wǎng)膜病變，Salmon 從 1980 年代就開始視力下降。在很多年里，他只有一只眼睛有微弱的視力。但他適應(yīng)了過來，繼續(xù)繪畫并由愛人 Anita Groves 陪伴他登山。

上個(gè)月，已被鑒定為盲人的 Salmon，對(duì)微軟的一項(xiàng)創(chuàng)新研究進(jìn)行了一場發(fā)布會(huì)。這項(xiàng)研究旨在用三維立體的聲音來表現(xiàn)二維的繪畫，幫助 Salmon 在失去了大部分視覺的情況下豐富他的繪畫藝術(shù)。它通過四臺(tái) Kinect（微軟的體感攝影機(jī)），15 只裝在高處的揚(yáng)聲器和 54 段配音對(duì) Salmon 的三幅繪畫作品從聽覺和空間維度進(jìn)行表達(dá)。這三幅作品畫的是俄勒岡的地獄谷，因此，該項(xiàng)目被命名為 The Oregon Project （“俄勒岡項(xiàng)目”）。

Keith Salmon （左），Neel Joshi （右）；背后是Keith Salmon 的三幅地獄谷風(fēng)景畫

這套系統(tǒng)在主題為“藝術(shù)與科技”的西雅圖 9e2 展覽上首次展出，它的意義有兩點(diǎn)：1.為 Salmon 這樣的藝術(shù)家提供繼續(xù)創(chuàng)作的途徑。2. 為有視覺缺憾的觀眾提供欣賞美術(shù)作品的機(jī)會(huì)。

Salmon 說：”如果在幾年內(nèi)，當(dāng)你去國家博物館或者美術(shù)館，這項(xiàng)技術(shù)已經(jīng)成為了參觀體驗(yàn)的一部分，那想必是極好的?！?/p>

在這套系統(tǒng)中，每幅繪畫的面前是包含了 18 段聲帶的 3D 空間。Kinect 攝像頭追蹤參觀者在該空間內(nèi)的動(dòng)作來播放不同的聲帶。不管參觀者是盲人還是普通人，該系統(tǒng)都能讓作品更生動(dòng)并更有交互性。在稍遠(yuǎn)些的位置，參觀者能聽到鳥叫聲，水流聲和風(fēng)吹青草的聲音。而這些聲音是 Salmon 和他的合作者在地獄谷實(shí)地錄制的。

當(dāng)參觀者靠近一些，會(huì)聽到與 Salmon 畫中藍(lán)色、綠色、棕色和赭色繪畫顏料相呼應(yīng)的數(shù)碼配樂。站得再近一些，參觀者甚至能聽到 Salmon 在畫室創(chuàng)作、顏料棒在畫紙上擦涂的聲音。這是為了模仿有視力的人觀察美術(shù)作品細(xì)節(jié)（細(xì)微處畫筆的勾勒）時(shí)的體驗(yàn)。Kinect 攝像頭會(huì)追蹤參觀者手臂的揮動(dòng)，根據(jù)它來改變播放的音樂。這能幫助參觀者成為藝術(shù)創(chuàng)作過程的一部分，并用身體、手臂的移動(dòng)來創(chuàng)作屬于他們的音樂體驗(yàn)。在展覽上，成年人主要是靠行走來創(chuàng)作不同音樂的合輯，而孩子們則跳來跳去并揮舞雙手。

Salmon 解釋說：”從 3D 空間的外圍走向內(nèi)圍，自然聲音與人造聲音的過渡十分和諧自然。這是一種奇妙的、有氛圍感的、空間的、山水景色的感覺，它把整個(gè)藝術(shù)串聯(lián)在一起?！?/p>

這個(gè)聲音系統(tǒng)源自于微軟研究員Neel Joshi， Meredith Ringel Morris 和前實(shí)習(xí)生 Kyle Rector 創(chuàng)作的試驗(yàn)項(xiàng)目 Eyes-Free Art （“不需要眼睛的美術(shù)”） 。該項(xiàng)目旨在幫助弱視力的觀眾欣賞視覺藝術(shù)（比如繪畫）。

如今，很多博物館都為失明參觀者提供解說，和戴著手套觸摸雕塑的活動(dòng)。微軟研究人員想要?jiǎng)?chuàng)造一個(gè)更私人訂制的體驗(yàn)。但它仍然是公共的，任何人都可以參與其中，并且不依賴于講解員。

在探索了很多設(shè)想之后，微軟研究人員們決定創(chuàng)造一個(gè)基于 Kinect 攝影機(jī)的空間音響系統(tǒng)。他們希望聲音和視覺能夠在這個(gè)系統(tǒng)中有同樣的美感，并且同樣重要。

Joshi 說，視覺探索是一個(gè)基于距離遠(yuǎn)近的個(gè)人體驗(yàn)：當(dāng)一個(gè)人離得更近，他會(huì)看到更多的細(xì)節(jié)，他們這些研究員想要模仿這些現(xiàn)象。他不僅是該項(xiàng)目開發(fā)者，還是一名在當(dāng)?shù)厣鐓^(qū)很活躍的畫家和互動(dòng)藝術(shù)家。

早在去年，研究員們就邀請(qǐng)了弱視參觀者來測試原型機(jī)。那臺(tái)原型機(jī)

用經(jīng)過編程的音樂、講述和各種聲音來表現(xiàn) Frida Kahlo, Henri Matisse 和其他藝術(shù)家的作品。測試者極其得享受參觀過程。其中一名女士曾是資深藝術(shù)愛好者，失明之后她就不再去畫展了。她甚至在參觀中激動(dòng)地流下淚水。但是研究團(tuán)隊(duì)知道，這還不算藝術(shù)，他們必須做更多。

憑借與藝術(shù)家的聯(lián)系，Joshi 開始與 Salmon 合作把 Salmon 的藝術(shù)創(chuàng)作與微軟的技術(shù)結(jié)合起來。他們與西雅圖電影制作人和攝影師 Dan Thornton，蘇格蘭音效師 Graham Byron 和 9e2 展覽主辦人 John Boylan 合作，在為期九天的 9e2 展覽該系統(tǒng)。雖然整個(gè)項(xiàng)目是試驗(yàn)性的，短期內(nèi)沒有讓它商業(yè)化、向大眾開放的打算，研究人員們已經(jīng)申請(qǐng)了Eyes-Free Art 的專利，并且會(huì)繼續(xù)研究怎么創(chuàng)造更易使用、更具藝術(shù)效果的體驗(yàn)。

Neel Joshi 正在 The Oregon Project 工作

Amos Miller 是一名有視力障礙的微軟研究員，他評(píng)價(jià)該系統(tǒng)有“天生的包容性”：既允許他享受個(gè)性化的體驗(yàn)，也可以進(jìn)行社會(huì)化的體驗(yàn)，而且兩者都符合藝術(shù)家的設(shè)計(jì)思路。

他說：“Eyes-Free Art 系統(tǒng)證明，你可以創(chuàng)造具有正能量、包容性的體驗(yàn)?！?Miller 是 Cities Unlocked 項(xiàng)目的研發(fā)人員。它是一個(gè)通過建造 3D 聲景來幫助弱視人群在城市中走動(dòng)的項(xiàng)目。

Sheri Richardson 是兩個(gè)盲人組織 Vision Loss Connections 和 blind since infancy 的主席。對(duì)她而言，這套系統(tǒng)是一個(gè)充滿活力和感性的探索藝術(shù)的方式。它允許你用不同的視角欣賞藝術(shù)，而且不依賴于別人的講解。她特別喜歡用地獄谷的自然聲音再現(xiàn)畫家在那里進(jìn)行創(chuàng)作的場景。

Richardson 說：“ Kinect 的人體追蹤技術(shù)，還有聲音隨著你在畫中移動(dòng)的感覺，讓參觀這套系統(tǒng)很有體驗(yàn)性，并且喚起了心底的感情?！?/p>

對(duì)于 Salmon 來說，他本就微弱的視力在幾年前開始繼續(xù)惡化。 Eyes-Free Art 系統(tǒng) 給了他在將來的歲月里繼續(xù)藝術(shù)生涯的希望。

他說：“這很讓人驚艷。我重新獲得了未來。即使我的視力不斷惡化，我仍會(huì)堅(jiān)持畫下去——我會(huì)利用聲音來創(chuàng)作。這是一個(gè)學(xué)習(xí)和適應(yīng)的過程。”

Keith Salmon 在登山

“The Oregon Project” 會(huì)于 2017 年四月在愛丁堡藝術(shù)學(xué)院再次展覽。

小結(jié)：微軟 The Oregon Project 這套系統(tǒng)算不得多么復(fù)雜，其技術(shù)也很難稱得上是突破。但是通過這一系列聲音采集、編輯和3D 場景布置，我們當(dāng)中的少數(shù)群體——失明者，能夠以屬于他們自己的方式欣賞本來遙不可及的藝術(shù)?？梢哉f，雖然畫面和 3D 聲場都是出于同一幅繪畫作品，但失明者所聽到的，與我們普通人眼里所看到的，是完全不一樣的藝術(shù)。它以這種技術(shù)上并不復(fù)雜的方式，賦予了繪畫作品”第二生命”。雖然這項(xiàng)技術(shù)短期內(nèi)沒有實(shí)用化的前景，但這代表了科技在未來的探索方向。它提醒我們，科技進(jìn)步的最大意義或許不是給我們提供更多的娛樂選擇，而是改善每一個(gè)人的生活——是的，每一個(gè)人。讓身處社會(huì)邊緣的弱勢(shì)群體也能分享到科技進(jìn)步的帶來的益處與快樂。

via Microsoft

【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。工作地點(diǎn)深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實(shí)習(xí)均可。

推薦閱讀：

徐迎慶：這7年我們?nèi)绾巫龀鲆豢钭屆と俗哌M(jìn)互聯(lián)網(wǎng)的產(chǎn)品 | 微軟亞洲研究院院友會(huì)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。