yoppa.org


前橋工科大学 – クリエイティブコーディング2024

TouchDesigner中級編 3 – オーディオビジュアル 1

今日の内容

  • オーディオと映像が融合した「オーディオビジュアル」を探求
  • 波形 (音量) ベースのオーディオビジュアル
  • スペクトル (周波数) ベースのオーディオビジュアル

前回の復習

  • 前回は主に波形 (音量) を元に音響の視覚化を考えていった
  • 例えばフィルターを用いた解析 (ダウンロード)

ダウンロード

前回の補足: audioAnalysys COMPを使う

  • 前回のフィルターによる音域別の音量の取得
  • audioAnalysis COMPを使用するととっても楽!
  • Palette > Derivative > Tools > audioAnalysis

audioAnalysis COMPの導入

  • 前回のパッチがここまでシンプルに!
  • 詳細は実際にコーディングしながら

ダウンロード

さらに応用

  • 周波数帯域ごとの音量によってノイズをコントロール
  • 詳細はコードで

ダウンロード

FFT解析

なぜ周波数解析が必要なのか?

  • FFT (高速フーリエ変換) : 音を周波数の成分に分解する → そもそも何故この操作が必要なのか?
  • 耳が音を聴いている仕組みを考える
https://youtube.com/watch?v=sSgZXrdlIlM%3Fversion%3D3%26rel%3D1%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26fs%3D1%26hl%3Den-US%26autohide%3D2%26wmode%3Dtransparent

つまり私たちは音を周波数成分の分解して聴いている!

引用: Hearing, the cochlea, the frequency domain and Fourier’s series

FFTとIFFT

  • FFT (高速フーリエ変換) : 波形を周波数成分へ
  • IFFT (高速フーリエ逆変換): 周波数成分を波形へ

STFT (短時間フーリエ変換)

実際に解析する際には、一定の時間で信号を切り取って解析していく

  • 切り取る信号の時間 → FFT Length (2の累乗のサンプル数)
  • 窓関数 (Windowing)
引用: Short-time FFT – MATLAB – MathWorks 日本

このFFT解析結果をプロットしたのがスペクトログラム (Spectrogram)

TouchDesignerでFFT基本

  • Audio Device in CHOPで入力した信号を、AudioSpectrum CHOPでFFT解析
  • その結果をCHOP to TOPでテクスチャーに

ダウンロード

ちょっと工夫

  • 左右のチャンネルで別々にFFT
  • Rampで着色
  • 左右線対称になるように配置

ダウンロード

さらに工夫

  • 座標を変換して波紋のようなパターンに!

ダウンロード

応用

  • 波紋のパターンを3D化

ダウンロード

いろいろ詰めあわせ

いろいろ詰めあわせセットを作ってきました!

ダウンロード

アンケート

本日の講義に参加した方は以下のアンケートに答えてください