yoppa.org


メディア芸術の基礎 2017 – 東京工科大学

第12回: 音響と映像の融合 – Processingで音を可視化する 1

この講義では、前半にProcessingを使用したインタラクティブなアニメーションの基本、後半はSonic Piを使用したサウンドプログラミングを行ってきました。今回はいよいよこの両者を融合して、音と映像を同時に用いた表現に挑戦していきたいと思います。

まず始めにProcessingを用いて音を視覚化する方法を検討します。単純に感覚的手法で視覚化するのではなく、音を周波数成分に分解しその変化を視覚的に表現します。ここでは、FFT(高速フーリエ変換)という手法を用います。

次に、この視覚化の手法を用いて、Sonic Piで作成してレコーディングした音をProcessingで読み込み、視覚化する方法について解説します。サウンドの解析には、Processingのコアライブラリである、Soundライブラリーを使用します。

スライド資料

サンプルコード

サウンドファイルの再生

マウスで再生スピードと音量を変化

音量を円の直径に反映

FFTによるスペクトラム表示