編者按：蘇格蘭盲人畫家在微軟的研究項目 The Oregon Project 幫助下重拾信心，繼續(xù)繪畫創(chuàng)作。然而 The Oregon Project 的意義不僅于此，它通過建立一個 3D 聲音場景使失明、弱視患者能通過配音欣賞繪畫作品內(nèi)容。本文原文發(fā)表于 Microsoft Research Blog，原文題目是“Interpreting visual art with sound for a more inclusive experience”。由雷鋒網(wǎng)獨家編譯，未經(jīng)許可，謝絕轉(zhuǎn)載。

蘇格蘭有一位頗有名氣的風景畫家 Keith Salmon。 他從古老崎嶇的蘇格蘭高地獲得靈感，將山和天際線用縹緲且富有感情的抽象手法表現(xiàn)出來。不幸的是，Salmon 很多年來受到視力下降的困擾，這對于一個風景畫家是致命的。受過美術和雕塑訓練的 Salmon 通過豐富自己的創(chuàng)作技巧來克服感官的不足。他不得不減少畫中的風景寫實，而更著重于對原野氣息抽象、繁妙的表達。

“ Arran 島的冬天”，Keith Salmon

由于糖尿病視網(wǎng)膜病變，Salmon 從 1980 年代就開始視力下降。在很多年里，他只有一只眼睛有微弱的視力。但他適應了過來，繼續(xù)繪畫并由愛人 Anita Groves 陪伴他登山。

上個月，已被鑒定為盲人的 Salmon，對微軟的一項創(chuàng)新研究進行了一場發(fā)布會。這項研究旨在用三維立體的聲音來表現(xiàn)二維的繪畫，幫助 Salmon 在失去了大部分視覺的情況下豐富他的繪畫藝術。它通過四臺 Kinect（微軟的體感攝影機），15 只裝在高處的揚聲器和 54 段配音對 Salmon 的三幅繪畫作品從聽覺和空間維度進行表達。這三幅作品畫的是俄勒岡的地獄谷，因此，該項目被命名為 The Oregon Project （“俄勒岡項目”）。

Keith Salmon （左），Neel Joshi （右）；背后是Keith Salmon 的三幅地獄谷風景畫

這套系統(tǒng)在主題為“藝術與科技”的西雅圖 9e2 展覽上首次展出，它的意義有兩點：1.為 Salmon 這樣的藝術家提供繼續(xù)創(chuàng)作的途徑。2. 為有視覺缺憾的觀眾提供欣賞美術作品的機會。

Salmon 說：”如果在幾年內(nèi)，當你去國家博物館或者美術館，這項技術已經(jīng)成為了參觀體驗的一部分，那想必是極好的?！?/p>

在這套系統(tǒng)中，每幅繪畫的面前是包含了 18 段聲帶的 3D 空間。Kinect 攝像頭追蹤參觀者在該空間內(nèi)的動作來播放不同的聲帶。不管參觀者是盲人還是普通人，該系統(tǒng)都能讓作品更生動并更有交互性。在稍遠些的位置，參觀者能聽到鳥叫聲，水流聲和風吹青草的聲音。而這些聲音是 Salmon 和他的合作者在地獄谷實地錄制的。

當參觀者靠近一些，會聽到與 Salmon 畫中藍色、綠色、棕色和赭色繪畫顏料相呼應的數(shù)碼配樂。站得再近一些，參觀者甚至能聽到 Salmon 在畫室創(chuàng)作、顏料棒在畫紙上擦涂的聲音。這是為了模仿有視力的人觀察美術作品細節(jié)（細微處畫筆的勾勒）時的體驗。Kinect 攝像頭會追蹤參觀者手臂的揮動，根據(jù)它來改變播放的音樂。這能幫助參觀者成為藝術創(chuàng)作過程的一部分，并用身體、手臂的移動來創(chuàng)作屬于他們的音樂體驗。在展覽上，成年人主要是靠行走來創(chuàng)作不同音樂的合輯，而孩子們則跳來跳去并揮舞雙手。

Salmon 解釋說：”從 3D 空間的外圍走向內(nèi)圍，自然聲音與人造聲音的過渡十分和諧自然。這是一種奇妙的、有氛圍感的、空間的、山水景色的感覺，它把整個藝術串聯(lián)在一起?！?/p>

這個聲音系統(tǒng)源自于微軟研究員Neel Joshi， Meredith Ringel Morris 和前實習生 Kyle Rector 創(chuàng)作的試驗項目 Eyes-Free Art （“不需要眼睛的美術”） 。該項目旨在幫助弱視力的觀眾欣賞視覺藝術（比如繪畫）。

如今，很多博物館都為失明參觀者提供解說，和戴著手套觸摸雕塑的活動。微軟研究人員想要創(chuàng)造一個更私人訂制的體驗。但它仍然是公共的，任何人都可以參與其中，并且不依賴于講解員。

在探索了很多設想之后，微軟研究人員們決定創(chuàng)造一個基于 Kinect 攝影機的空間音響系統(tǒng)。他們希望聲音和視覺能夠在這個系統(tǒng)中有同樣的美感，并且同樣重要。

Joshi 說，視覺探索是一個基于距離遠近的個人體驗：當一個人離得更近，他會看到更多的細節(jié)，他們這些研究員想要模仿這些現(xiàn)象。他不僅是該項目開發(fā)者，還是一名在當?shù)厣鐓^(qū)很活躍的畫家和互動藝術家。

早在去年，研究員們就邀請了弱視參觀者來測試原型機。那臺原型機

用經(jīng)過編程的音樂、講述和各種聲音來表現(xiàn) Frida Kahlo, Henri Matisse 和其他藝術家的作品。測試者極其得享受參觀過程。其中一名女士曾是資深藝術愛好者，失明之后她就不再去畫展了。她甚至在參觀中激動地流下淚水。但是研究團隊知道，這還不算藝術，他們必須做更多。

憑借與藝術家的聯(lián)系，Joshi 開始與 Salmon 合作把 Salmon 的藝術創(chuàng)作與微軟的技術結(jié)合起來。他們與西雅圖電影制作人和攝影師 Dan Thornton，蘇格蘭音效師 Graham Byron 和 9e2 展覽主辦人 John Boylan 合作，在為期九天的 9e2 展覽該系統(tǒng)。雖然整個項目是試驗性的，短期內(nèi)沒有讓它商業(yè)化、向大眾開放的打算，研究人員們已經(jīng)申請了Eyes-Free Art 的專利，并且會繼續(xù)研究怎么創(chuàng)造更易使用、更具藝術效果的體驗。

Neel Joshi 正在 The Oregon Project 工作

Amos Miller 是一名有視力障礙的微軟研究員，他評價該系統(tǒng)有“天生的包容性”：既允許他享受個性化的體驗，也可以進行社會化的體驗，而且兩者都符合藝術家的設計思路。

他說：“Eyes-Free Art 系統(tǒng)證明，你可以創(chuàng)造具有正能量、包容性的體驗?！?Miller 是 Cities Unlocked 項目的研發(fā)人員。它是一個通過建造 3D 聲景來幫助弱視人群在城市中走動的項目。

Sheri Richardson 是兩個盲人組織 Vision Loss Connections 和 blind since infancy 的主席。對她而言，這套系統(tǒng)是一個充滿活力和感性的探索藝術的方式。它允許你用不同的視角欣賞藝術，而且不依賴于別人的講解。她特別喜歡用地獄谷的自然聲音再現(xiàn)畫家在那里進行創(chuàng)作的場景。

Richardson 說：“ Kinect 的人體追蹤技術，還有聲音隨著你在畫中移動的感覺，讓參觀這套系統(tǒng)很有體驗性，并且喚起了心底的感情?！?/p>

對于 Salmon 來說，他本就微弱的視力在幾年前開始繼續(xù)惡化。 Eyes-Free Art 系統(tǒng) 給了他在將來的歲月里繼續(xù)藝術生涯的希望。

他說：“這很讓人驚艷。我重新獲得了未來。即使我的視力不斷惡化，我仍會堅持畫下去——我會利用聲音來創(chuàng)作。這是一個學習和適應的過程?！?/p>

Keith Salmon 在登山

“The Oregon Project” 會于 2017 年四月在愛丁堡藝術學院再次展覽。

小結(jié)：微軟 The Oregon Project 這套系統(tǒng)算不得多么復雜，其技術也很難稱得上是突破。但是通過這一系列聲音采集、編輯和3D 場景布置，我們當中的少數(shù)群體——失明者，能夠以屬于他們自己的方式欣賞本來遙不可及的藝術?？梢哉f，雖然畫面和 3D 聲場都是出于同一幅繪畫作品，但失明者所聽到的，與我們普通人眼里所看到的，是完全不一樣的藝術。它以這種技術上并不復雜的方式，賦予了繪畫作品”第二生命”。雖然這項技術短期內(nèi)沒有實用化的前景，但這代表了科技在未來的探索方向。它提醒我們，科技進步的最大意義或許不是給我們提供更多的娛樂選擇，而是改善每一個人的生活——是的，每一個人。讓身處社會邊緣的弱勢群體也能分享到科技進步的帶來的益處與快樂。

via Microsoft

【招聘】雷鋒網(wǎng)堅持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領域第一時間提供海外科技動態(tài)與資訊。我們需要若干關注國際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。工作地點深圳。簡歷投遞至 guoyixin@leiphone.com 。兼職及實習均可。

推薦閱讀：

徐迎慶：這7年我們?nèi)绾巫龀鲆豢钭屆と俗哌M互聯(lián)網(wǎng)的產(chǎn)品 | 微軟亞洲研究院院友會

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。