用聽覺豐富視覺藝術

李忠東

基斯·薩蒙是蘇格蘭一位享有盛名的畫家，他從古老崎嶇的蘇格蘭高地得到啟示，擅長用富有感情的抽象手法來表現巍峨的山巒和縹緲的天際線。不幸的是，糖尿病導致的視網膜病變，使薩蒙只剩一只眼睛有微弱的視力，這對他的打擊可想而知。

然而在微軟“不需要眼睛的美術”項目（Eyes-Free Art）的幫助下，這位被鑒定為盲人的畫家再次燃起了創作激情。他憑借頑強的意志，近年來堅持由妻子安尼塔·格羅夫斯陪伴登山寫生。雖然畫中的寫實風景有所減少，但是更突出了原野氣息的抽象表達。憑借扎實的創作技巧，薩蒙逐漸克服了感官的不足。

“‘不需要眼睛的美術項目使我重新獲得了未來，給了我在將來歲月里繼續藝術生涯的希望?！彼硎?，“即使視力不斷惡化，我仍然會堅持畫下去。利用聲音來創作，這是一個學習和適應的過程?！?/p>

通過三維立體聲音

表現二維繪畫

“不需要眼睛的美術”項目是一套創新的聲音系統，由微軟研究員尼爾·喬希、梅勒迪斯·林格爾·莫里斯和前實習生凱爾·雷克托創作，旨在幫助弱視力的觀眾欣賞繪畫等視覺藝術。而且該系統還可以通過三維立體聲音來表現二維繪畫藝術，這使失去了大部分視覺的薩蒙受益非淺，讓他的繪畫藝術變得豐富多彩?？萍既藛T曾用4臺微軟Kinect、15只裝在高處的揚聲器和54 段配音，從聽覺和空間維度來表達薩蒙的3幅繪畫作品。由此可見，它的意義在于，既能夠為像薩蒙這樣的盲人藝術家提供繼續創作的途徑，又可以給有視覺缺失的觀眾提供欣賞美術作品的機會。

由于薩蒙所畫的內容都是美國俄勒岡州的地獄谷，所以這套聲音系統又叫“俄勒岡項目”（The Oregon Project）。地獄谷是北美洲最高和最深的河谷，比大峽谷更高、更深。蛇河從黃石公園貫穿峽谷，形成愛達荷州和俄勒岡州的邊界。

微軟Kinect是一種最初用于電子游戲的3D體感攝影機，同時導入了即時動態捕捉、影像辨識、麥克風輸入、語音辨識和社群互動等功能。傳統游戲通常使用鍵盤、手柄和搖桿等控制器作為輸入動作的工具，而微軟Kinect則顛覆了人們對傳統電子游戲操作的認知，全面兼容所有的Xbox 360主機型號，能夠對使用者面部和身體姿態進行全方位立體式的識別，讓使用者全身都充當游戲手柄。同時，攝像頭還可以進行640X480分辨率和30FPS幀率的拍攝，而4個麥克風則支持單人語音識別。如今，使用者借助微軟Kinect可以直接通過肢體和語言對游戲進行操控。

豐富的音效系統

“不需要眼睛的美術”項目在主題為“藝術與科技”的西雅圖 9e2展覽上首次展出時，曾引起廣泛關注。根據計劃，這套聲音系統將于2017 年4月在蘇格蘭愛丁堡藝術學院的帳篷畫廊展出。

走進西雅圖 9e2展覽的展廳，只見在薩蒙每幅繪畫的面前都設置有18段聲帶的3D空間。而微軟Kinect的攝像頭則忙個不停，追蹤參觀者在該空間內的動作，并播放不同的聲帶，讓作品更加豐富生動，交互性更強。

例如，當攝像頭追蹤到觀眾手臂的揮動時，會據此改變播放的音樂，從而使參觀者成為藝術創作過程的一部分。饒有興趣的成年人大多通過行走來創作不同的音樂合輯，而孩子們則歡快地一邊揮舞雙手一邊跳來蹦去。

不管參觀者是盲人還是普通人，靠近畫面時都會聽到與畫中藍色、綠色、棕色和赭色繪畫顏料相呼應的數碼配樂。如果再近一些，甚至能聽到薩蒙在畫室創作時顏料棒在畫紙上擦涂的聲音，模仿出視力正常者運用畫筆勾勒作品細節的體驗。而如果站在離畫面稍微遠一點的位罝，觀眾則會欣賞到鳥鳴、水流和風吹青草的聲音，這些聲音都是薩蒙和他的合作者在地獄谷實地錄制的。

“從3D 空間的外圍走向內圍，自然聲音與人造聲音的過渡十分和諧自然。它把整個藝術元素串聯在一起，有氛圍感，有空間和山水景色，使人產生一種奇妙無比的感覺?！彼_蒙展望道，“如果人們過幾年去國家博物館或美術館時，這項技術可能已成為參觀體驗的一部分，那種感覺和體驗肯定非同一般?！?/p>

創造更具包容性的

視覺藝術體驗

很多博物館都會安排為失明參觀者提供解說以及戴著手套觸摸雕塑的活動。然而微軟研究人員并不滿足于此，他們還想營造出一種私人訂制的體驗，而且這種體驗是開放式的，任何人都可以參與其中。

在進行了多種嘗試后，他們決定創造一個基于微軟Kinect的空間音響系統，保證聲音和視覺能夠在這個系統中有同樣的美感，顯得一樣重要。喬希不僅是該項目的開發者之一，還是一名在當地社區很活躍的畫家和互動藝術家。他認為，視覺探索是一個基于距離遠近的個人體驗，當一個人離得更近時，就會看到更多的細節。

喬希和同事們開發的“不需要眼睛的美術”項目就是想要模仿這些現象，創造更具包容性的視覺藝術體驗。2015年，當他們開發出最初的原型機時，便邀請弱視參觀者前來測試——通過編程的音樂，生動地講述和各種聲音，向觀眾展現墨西哥女畫家弗里達·卡羅、法國現代派畫家亨利·馬蒂斯和其他藝術家的作品。測試者極其滿意地享受了參觀的全過程，其中更有一名酷愛美術的女士激動地流下淚水。她表示，在自己失明之后便無法再去參觀畫展，沒想到多年后又有機會重溫美術夢。

擔任某個盲人組織主席的雪莉·理查森則表示：“這套聲音系統是一個充滿活力和感性探索藝術的方式，它允許你用不同的視角欣賞藝術，而且不依賴于別人的講解。尤其是它用地獄谷的自然聲音再現畫家在那里進行創作的場景，更令我激動不已。微軟Kinect的人體追蹤技術，還有讓聲音伴隨著你在畫中移動的感覺，給了參觀者豐富的體驗，喚起了心底的感情?！?/p>

盡管初試的成績不錯，但研發團隊心里很清楚：聲音還無法完全展現畫作的魅力，他們還需要進一步豐富項目的內涵。

在與畫家薩蒙合作的基礎上，他們又與西雅圖電影制作人和攝影師丹·桑頓、蘇格蘭音效師格雷厄姆·拜倫以及9e2展覽主辦人約翰·波藍聯手，用9天的時間在9e2展覽上展示了這套聲音系統，真正將藝術創作與微軟技術進行了結合。

目前整個項目仍處于試驗階段，研發團隊并沒有打算將其商業化，也沒有計劃向大眾開放。他們已經申請了“不需要眼睛的美術”項目的專利，并且打算繼續深入研究，創造出更加容易使用、更具藝術效果的體驗。

突破視覺的限制

目前對藝術作品全新體驗的開發，還不止“不需要眼睛的美術”這一個項目。

亞摩斯·米勒是一名有視力障礙的微軟研究員，目前正在研發一個名叫“未上鎖城市”（Cities Unlocked）的項目。該項目旨在通過建造3D聲景幫助弱視人群在城市中走動。他說：“該項目既允許人們享受個性化的體驗，又可以進行社會化的體驗。這種天生的包容性符合藝術家的設計思路，證明不論是正常人士還是失明參觀者都可以創造令自己心滿意足的體驗?！?/p>

視覺藝術在傳統意義上是為視覺體驗而生的東西，然而類似于“不需要眼睛的美術”等項目卻通過一系列的聲音采集、編輯和3D 場景布置，突破了傳統藝術的障礙，創造了一種兼收并蓄的混合媒體，讓視覺障礙人士也能獲得體驗。當然，這種體驗有別于純視覺體驗，因為盡管畫面和3D聲場出于同一幅繪畫作品，但對于失明者和弱視患者而言，他們感受到的卻是和我們完全不一樣的藝術，“不需要眼睛的美術”賦予了同一幅繪畫作品“第二生命”。雖然這套聲音系統或許在短期內無法全面推廣，但它代表了未來科技在藝術領域的探索方向。

微軟研究人員的實踐提醒我們，科技進步最大的意義也許不僅僅是給我們提供更多的娛樂選擇，而是盡力改善每一個人的生活質量，特別是讓那些身處社會邊緣的弱勢群體也能分享到科技進步帶來的益處與快樂。