yoppa.org

前橋工科大学 - システム生体プログラミング特論 2023

openFrameworks Addon 4 : Audio Visual – ofxFft (1)

openFrameworksでは、画像や動画ファイルなどと同様に、プログラムにサウンドファイルを読み込み、再生したり、波形を表示することが可能です。しかし、音の波形を表示したら音響を視覚化したことになるでしょうか。

実は我々の耳は音を波形ではなく、周波数に分解して知覚しています。ですので、波形をそのま操作して表示しても、あまり音と一致した映像にはなりません。音を周波数の帯域ごとの音量に分解するには、フーリエ変換という手法を用います。これにより、音を周波数帯域ごとの強さにわけて取得することが可能となります。フーリエ変換は、コンピュータ内で高速に処理する高速フーリエ変換（FFT）というアルゴリズムが考案され、現在ではPC内でリアルタイムに変換していくことが可能です。今回は、このフーリエ解析を利用して、音を可視化してみましょう。

openFrameworksでは、ofxFftというアドオンを用いて簡単にFFT解析を行うことが可能です。またofxFftには、ofxProcessFFTというFFTを利用したより詳細な音響析用のクラスも同梱されています。このofxProcessFFTも利用して、音を効果的に視覚化していく方法について探っていきます。

スライド資料

サンプルプログラム

アンケート

本日の授業に参加した方は、以下のアンケートに答えてください。