音　から　絵　に変換する事のあれこれ

ViolinA5_onStringA_4096.wav
silent violinのA 4096サンプル分です．
この音素材を使って色々絵を描いてみよう，と．
まぁ難しいところはさて置き，まずは見た目を楽しむ事から！

とりあえず基本（プロットはデータの一部）

※画像はクリックで実寸へリンク

• upper: 青が音声データ（実数部）　赤はヒルベルト変換で取ってきた裏世界の音（虚数部）
• middle: 位相 [-π/2 , π/2]
• bottom: FFT　窓なし

時系列信号（音声信号）y(0), y(1), y(2), ..., y(N)を使って
x-axis：y(n)
y-axis: y(n + K)
z-axis: y(n + 2K)
のように取ってプロットすると面白い絵が描けます．

• left: 再構成したアトラクタ　実数部
• center: 再構成したアトラクタ　虚数部
• right: 位相平面（x-asix: 実部, y-axis: 虚部　としてプロット）

音声信号の各点と三次元グラフの各点が対応しています．
時間が進むにつれて点が空間内をコロコロ動き回るイメージ．

実データの割には綺麗に描けました．

今のところ，この辺の絵を応用して新しいシンセを作れたらなぁと妄想中．
当面の技術的な目標は，
サンプルデータが通らなかった場所に点を置いたときに，
その点がどの方向に動くのかを予測して，サンプルデータに似た信号を再構成すること．
基本周波数を合わせるだけでも結構難しい…．
2011/03/25