前橋工科大学 – 工学デザイン実習 IIIc 2025
TouchDesigner実践 1 – オーディオビジュアル、音響の視覚化
空間全体で体験するアート・インスタレーション、リアルタイムで展開されるパフォーマンス、あるいは緻密に設計された映像作品など多岐にわたります。音のリズムが映像の動きを制御したり、映像の変化が新たな音を生み出したりと、その相互作用が鑑賞者の感覚に深く働きかけます。
今回は、このようなオーディオビジュアルな表現をTouchDesignerを用いて実現することを目指します。
オーディオビジュアル参考作品
音波 (Sound Wave) とは?
そもそも音波とは、音とは何なのか?
波形解析 – 基本 1: サウンドファイルの再生と波形の表示
ポイント:
- TouchDesignerでは音は数値の連なりと捉える、よってサウンドデータにはCHOPを用いる
- サウンドファイルを読み込みにAudio File In CHOPを使用
- 読み込むだけではサウンドは再生されない、Audio Device Out CHOPに接続することで再生
- 音波のデータが格納されているCHOPをCHOP to TOPすると音を視覚的に捉えることが可能となる
波形解析 – 基本 2: サウンドの音量を視覚化する
ポイント:
- Audio File In CHOPで取得された音は、一定の範囲の音が格納されている (バッファリング)
- CHOPに格納された音のデータを数値として使用するには、Analize CHOPを使用して単一の数値化する必要がある
- Analyze CHOPには様々な解析方法が提供されている
- Value of First Peak: バッファーの最初の値
- Avarage: バッファー内の全ての値の平均
- Maximum: 最大値
- Minimum: 最小値
- Sum: 合計値
- RMS Power: 移動平均平方根
- 視覚化する際には、RMS Powerが向いている
- 一度数値化してしまえば、図形などの様々なパラメータへと適用できる
- Lag CHOP: 数値の変化をスムーズに補完する、急激なピークの変化を抑える
- Filter CHOP: 全体の変化をより滑らかにフィルタリングする (ローパスフィルタ)
波形解析 – 基本 3: フィルターの活用、周波数帯域に分けて視覚化
ポイント:
- オーディオ用のフィルタを使うことで、波形の周波数帯域ごとの成分を抽出
- フィルターには様々な種類が存在する
- ローパスフィルター (LPF): 低域を通過させる、高域はカットされる
- ハイパスフィルター (HPF): 高域を通過させる、低域はカットされる
- バンドパスフィルタ (BPF): 一定の周波数領域を通過させる
- フィルターを用いて、元の音を、低域、中域、高域に分解
- それぞれをAnalize CHOPのRMS Powerで解析してビジュアライズしてみる
- 音楽の成分 (バスドラ、ハイハットなど) ごとの変化が観察できる
波形解析 – 基本 4: Audio Analysis COMPを使用する
- 音の波形を周波数ごとに解析して値をなめらかに整える機能をより便利に簡単に使いたい
- 専用のCOMPが用意されている → Audio Analysis COMP
- Palette > Tools >AudioAnalysis からドラッグ&ドロップ
- とても高性能かつ簡単!
- これまでのプログラムと同じ機能が、すっきりシンプルに実装できる
ポイント
- 手動で解析していたパートを、Audio Analysis COMPに置き換え
- 必要に応じてパラメーターを調整して値を整える
波形解析 – 応用 1: 周波数帯域の視覚化を3Dで表現
- これまで2次元の円 (Circle TOP) で視覚化していたものを3Dへ
- この例では、ノイズで変形させた球 (Sphere SOP) を半透明の色を着色して変形させている
- いろいろなアイデアで多種多用な視覚化が可能
- これまでの講義の内容を応用してみる!
波形解析から周波数解析へ
なぜ周波数解析が必要なのか?
- FFT (高速フーリエ変換) : 音を周波数の成分に分解する → そもそも何故この操作が必要なのか?
- 耳が音を聴いている仕組みを考える
つまり私たちは音を周波数成分の分解して聴いている!
FFTとIFFT
- FFT (高速フーリエ変換) : 波形を周波数成分へ
- IFFT (高速フーリエ逆変換): 周波数成分を波形へ
STFT (短時間フーリエ変換)
実際に解析する際には、一定の時間で信号を切り取って解析していく
- 切り取る信号の時間 → FFT Length (2の累乗のサンプル数)
- 窓関数 (Windowing)
このFFT解析結果をプロットしたのがスペクトログラム (Spectrogram)
FFT視覚化基本1: スペクトラムをTOPで視覚化
ポイント
- Aufio File In CHOPで取得した信号をAudio Spectrum CHOPに接続
- FFT解析が行われる
- 解析の際の様々なパラメータが設定可能
- FFT Size (STFTで分割する際のサンプル数)
- スケール (線形スケールからログスケール) の設定
- 高周波成分の強調
- 解析結果を、CHOP to TOPでテクスチャーに
- 周波数成分がストライプ状に模様が浮かびあがる
FFT視覚化基本2: 左右対象にして着色
- 周波数成分によってグラデーション状に着色 (Ramp TOPを掛け合せる)
- 左右のチャンネルを左右対象に配置
- 低域が中心、高域が左右の周囲に配置される
FFT視覚化基本3: 円に変換
ポイント
- Cartesian To Poloar COMP: デカルト座標から極座標に変化するCOMP
- ストライプ状のスペクトルのパターンを円環状に変換することが可能
- 左右の音が円のパターンとして表現される
いろいろ詰めあわせ
いろいろ詰めあわせセットを作ってきました!
アンケート
本日のアンケートです
