今日の内容

• オーディオと映像が融合した「オーディオビジュアル」を探求
• 波形 (音量) ベースのオーディオビジュアル
• スペクトル (周波数) ベースのオーディオビジュアル

前回の復習

• 前回は主に波形 (音量) を元に音響の視覚化を考えていった
• 例えばフィルターを用いた解析 (ダウンロード)

ダウンロード

前回の補足: audioAnalysys COMPを使う

• 前回のフィルターによる音域別の音量の取得
• audioAnalysis COMPを使用するととっても楽!
• Palette > Derivative > Tools > audioAnalysis

audioAnalysis COMPの導入

• 前回のパッチがここまでシンプルに!
• 詳細は実際にコーディングしながら

ダウンロード

さらに応用

• 周波数帯域ごとの音量によってノイズをコントロール
• 詳細はコードで

ダウンロード

FFT解析

なぜ周波数解析が必要なのか?

• FFT (高速フーリエ変換) : 音を周波数の成分に分解する → そもそも何故この操作が必要なのか?
• 耳が音を聴いている仕組みを考える

https://youtube.com/watch?v=sSgZXrdlIlM%3Fversion%3D3%26rel%3D1%26showsearch%3D0%26showinfo%3D1%26iv_load_policy%3D1%26fs%3D1%26hl%3Den-US%26autohide%3D2%26wmode%3Dtransparent

つまり私たちは音を周波数成分の分解して聴いている!

FFTとIFFT

• FFT (高速フーリエ変換) : 波形を周波数成分へ
• IFFT (高速フーリエ逆変換): 周波数成分を波形へ

STFT (短時間フーリエ変換)

実際に解析する際には、一定の時間で信号を切り取って解析していく

• 切り取る信号の時間 → FFT Length (2の累乗のサンプル数)
• 窓関数 (Windowing)

このFFT解析結果をプロットしたのがスペクトログラム (Spectrogram)

TouchDesignerでFFT基本

• Audio Device in CHOPで入力した信号を、AudioSpectrum CHOPでFFT解析
• その結果をCHOP to TOPでテクスチャーに

ダウンロード

ちょっと工夫

• 左右のチャンネルで別々にFFT
• Rampで着色
• 左右線対称になるように配置

ダウンロード

さらに工夫

• 座標を変換して波紋のようなパターンに!

ダウンロード

応用

• 波紋のパターンを3D化

ダウンロード

いろいろ詰めあわせ

いろいろ詰めあわせセットを作ってきました!

ダウンロード

アンケート

本日の講義に参加した方は以下のアンケートに答えてください

• アンケート