基于Processing平臺的聲音可視化運用

石鑫 李雪艷

〔摘 要〕計算機網絡技術的快速進步帶動了新媒體藝術的發展，藝術表達形式發生巨大變化，在藝術設計的各領域中，科技介入程度越來越高，科技與藝術的結合創造出許多新的藝術形式，如人機互動裝置與圖像隨機生成等。本文將在Processing平臺的基礎上，探討聲音可視化的應用實踐與相關作品的解讀與分析，進而探究聲音可視化技術在藝術與設計中運用的前景與方向，為實踐者提供有價值的參考。

〔關鍵詞〕聲音可視化；Processing；人機互動；裝置藝術

一、聲音的處理

（一）信號處理

早在1680年，羅伯特·胡克（Robert Hooke）就開始了對聲音形態的觀察。1787年，律師、音樂家和物理學家恩斯特·克拉德尼（Ernst Chladni）關于音樂理論的著作《Entdeckungenüber die Theorie des Klangesor》《關于音樂的理論發現》， （ Discoveries Concerning the Theory of Sound）成為聲音可視化的開創性工作。在當代藝術領域，已經有越來越多的藝術工作者與設計師參與到代碼藝術的行列之中，代碼藝術的優勢在于極高的創作自由度與多樣的聯結方式。數據可視化如今非常受歡迎，原因是人們能夠直觀地感受到數據的變化，看到的不再是枯燥的數字，在數據可視化過程中，枯燥的數字經過處理成為動態圖像。數據可視化轉變了數據的視覺形態而受到歡迎。在人類常識中，聲音是無形的，在Processing平臺上處理后可以生成圖像。在分析音頻時通常有兩種方式；其一是利用FFT傅里葉變化分析：其二為提取左右聲道。FFT在音頻處理方面能進行實時高效的處理，利用FFT對音頻信號進行分析，分析的結果用于圖像生成。

（二）聲音來源

在聲音可視化的范疇內，聲音來源分為計算機內MP3文件與計算機外部聲音。音頻在Processing經過處理后聲音信號被量化，量化后的數據結果用于圖像生成，生成后的圖像會實時根據音樂節奏、音量變化，形成動態圖像，圖像的形態可在Processing中自由編寫，也可以通過代碼改變圖像的色彩等等。第二種聲音來自計算機外部，在這個過程中需要借助Arduino來實現，Arduino與Processing聯動在新媒體藝術與裝置藝術中的應用非常廣泛。

二、圖像生成及藝術化表現

（一）圖像生成

在Processing平臺上，圖像生成是其最強大的功能之一。每個形狀都有自己獨有的代碼，如橢圓的代碼為“ellipse（x，y，width，height）；”，矩形為“rect（x，y，width，height）；”，色彩填充代碼為“fill（x，y，z）；”。在Processing中輸入代碼——“jingle = minim.loadFile（"xxx.mp3"， 1024）”加載音頻，此處的“1024”為加載頻率，在draw函數中輸入代碼將數值帶入到圖形代碼之中。

（二）基于Processing平臺的圖像藝術化表現

圖像生成是使圖像藝術化表現的重要環節，在這個過程中，軟件只是工具，圖像的藝術化表現需要使用者具備必要的藝術修養與設計能力。來自英國的藝術家尼爾·門多薩（Neil Mendoza）使用openFrameworks與Arduino互聯創作出了一個語音識別的聲音互動裝置，人類的聲音通過喇叭收錄進軟件中，軟件將音頻傳輸到Web瀏覽器，Web瀏覽器上的語音識別系統開始分析音頻，處理后變成一串串的立體字母，經過喇叭噴出，軟件中的力場程序施加了一些力的效果，模仿真實的環境，字母撞擊到畫面邊框后會反彈，聲音的大小對字母噴射的距離也有影響。畫面中有一只鞋子，當字母經過鞋子的時，激活Arduino，Arduino傳輸指令給鞋子，鞋子由機械臂控制，字母每觸動到鞋子時，鞋子上彈一次。江南大學數字媒體學院的團隊TRIE創作了一件聲音可視化裝置——《echo planet》，該作品生成的圖像為一根不斷生長的樹枝，生長的能量則來源于聲音，觀眾通過在被裝飾成海螺的麥克風前發聲，音頻經過分析轉化為數據成為影響圖像生成的數值，在此過程中，聲音扮演著最重要的角色。聲音作為人類、動物表達情感的重要方式之一，每種聲音都帶有不同的信息與不同的情緒，不同的聲音信號生成的圖像也不同，將聲音可視化，也是將聲音所傳達的訊號以直觀的方式呈現出來。聲學工程師馬克·菲舍爾使用“小波變換”的數學方法可以將聲音分解成較短的離散的小波成分。馬克·菲舍爾使用此方法將鯨魚的聲音訊號轉化為圖像，不同鯨魚的叫聲生成不同的圖像，傳統的音頻是生成平直的圖像，菲舍爾將圖像變形、旋轉、疊加為圓形圖案，圖案表達出了鯨魚在深海的叫聲中蘊含的情緒與來自深海的魔幻和靜謐。人聲也如此，在演唱會舞臺的大屏幕上，圖像的動態是由歌手音聲的節奏、音量決定的，且每首歌都會配有不同的圖像，這些圖像與歌曲所傳達出的情感相匹配，達到情、景、聲交融。

三、聲音可視化應用前景

（一）應用于公共藝術

聲音可視化（圖像化）的實現將無形的聲音轉化為有形的圖像，人類可以看到圖像化的聲音了。公共藝術的宗旨之一是提升公眾生活質量，實現公共藝術與公眾的互動，是讓公眾體驗到藝術價值的最好方式之一。公眾與藝術品互動，成為整個公共藝術品的一部分，藝術品為本體，公眾是參與者，二者之間實現互動，最終這件公共藝術才得以完成，也就是說，人的參與，是屬于這件作品的一部分。人的音色各不相同，借助Processing的圖像生成功能，不同的聲音生成不同的圖像，互動后每個人得到了屬于自己專屬的圖像，代表著自己獨有的情感與性格，不同的人來到這里，得到不同的結果，體現不同的價值。

（二）應用于商業空間

商業空間的藝術品旨在提升該空間的藝術氛圍與凝聚顧客。近年，互動類藝術品在商業空間內越來越受歡迎，其主要原因是互動類藝術品能吸引大量顧客，為商場提高客流量。Processing與Arduino聯動在實現藝術品與人的互動上具有優勢，營造出一個聲、景并茂的藝術空間，人走到這里都可以與之產生互動，每次互動產生不一樣的結果，逢節日可以編寫與節日相契合的圖像，渲染節日氛圍。聲音是有溫度的，在Processing的幫助下，我們不僅可以感受溫度，也可以看見溫度。

結 語

基于Processing平臺的聲音可視化與互動影像給創作者打開了一條新的創作思路，在此基礎上，聲音與Processing是創作者創作的工具與源泉。設計須根據市場需求做出改變，Processing就是在這樣的前提下誕生的，在藝術、設計與科技結合緊密的時代，創作者需要掌握前沿的創作手段，創作出符合時代要求的作品。

（責任編輯：張貴志）

參考文獻：

[1]高景帥.聲音的可視化研究[D].南京：東南大學，2018.

[2]趙沁暘.交互式電子音樂《無·箏》作品設計與創作解析[D].上海：上海師范大學，2017.

[3]譚亮.基于Processing的代碼藝術應用研究[J].裝飾，2012，（02）：104-105.

[4]張冉.基于processing平臺實時互動影像呈現[D].北京：北京工業大學，2013.

[5]孔晶晶. 基于Processing的互動媒體設計研究[D].無錫：江南大學，2009.

[6]呂靜，魏一鳴.非遺制扇技藝與佛教文化創新融合設計[J].設計，2019，（19）：70-71.

[7]祝遵凌.讓可持續設計真正為人服務[J].設計，2019，32（16）：76-80.

[8]王穎，陳峰.博物館互動游戲型文創探析——以南京博物院“竹林七賢”日歷設計為例[J].設計，2019，（19）：22-24.

[9]蘇同向，王浩.基于生態紅線劃定的城鄉綠地生態網絡構建研究——以江蘇省揚州市為例[J].現代城市研究，2019，（10）：20-27.

[10]李元媛，王浩.蘇南宗族型傳統村落建筑景觀研究[J].藝術百家，2019，35（05）：198-205.

[11]張榮杉，梁晶.商業空間中的植物造景藝術研究[J].大眾文藝，2019，（19）：62-63.