芸大 – メディアアート・プログラミング I 2024
TouchDesigner中級編 3 – オーディオビジュアル 1

今日の内容
- オーディオと映像が融合した「オーディオビジュアル」を探求
- 波形 (音量) ベースのオーディオビジュアル
- スペクトル (周波数) ベースのオーディオビジュアル
前回の復習
- 前回は主に波形 (音量) を元に音響の視覚化を考えていった
- 例えばフィルターを用いた解析 (ダウンロード)

前回の補足: audioAnalysys COMPを使う
- 前回のフィルターによる音域別の音量の取得
- audioAnalysis COMPを使用するととっても楽!
- Palette > Derivative > Tools > audioAnalysis

audioAnalysis COMPの導入
- 前回のパッチがここまでシンプルに!
- 詳細は実際にコーディングしながら

さらに応用
- 周波数帯域ごとの音量によってノイズをコントロール
- 詳細はコードで

FFT解析
なぜ周波数解析が必要なのか?
- FFT (高速フーリエ変換) : 音を周波数の成分に分解する → そもそも何故この操作が必要なのか?
- 耳が音を聴いている仕組みを考える
つまり私たちは音を周波数成分の分解して聴いている!

FFTとIFFT
- FFT (高速フーリエ変換) : 波形を周波数成分へ
- IFFT (高速フーリエ逆変換): 周波数成分を波形へ

STFT (短時間フーリエ変換)
実際に解析する際には、一定の時間で信号を切り取って解析していく
- 切り取る信号の時間 → FFT Length (2の累乗のサンプル数)
- 窓関数 (Windowing)

このFFT解析結果をプロットしたのがスペクトログラム (Spectrogram)

TouchDesignerでFFT基本
- Audio Device in CHOPで入力した信号を、AudioSpectrum CHOPでFFT解析
- その結果をCHOP to TOPでテクスチャーに

ちょっと工夫
- 左右のチャンネルで別々にFFT
- Rampで着色
- 左右線対称になるように配置

さらに工夫
- 座標を変換して波紋のようなパターンに!

応用
- 波紋のパターンを3D化

いろいろ詰めあわせ
いろいろ詰めあわせセットを作ってきました!

アンケート
本日の講義に参加した方は以下のアンケートに答えてください