Visualization
音 から 絵 に変換する事のあれこれ

ViolinA5_onStringA_4096.wav
silent violinのA 4096サンプル分です.
この音素材を使って色々絵を描いてみよう,と.
まぁ難しいところはさて置き,まずは見た目を楽しむ事から!

とりあえず基本(プロットはデータの一部)

※画像はクリックで実寸へリンク
  • upper: 青が音声データ(実数部) 赤はヒルベルト変換で取ってきた裏世界の音(虚数部)
  • middle: 位相 [-π/2 , π/2]
  • bottom: FFT 窓なし


時系列信号(音声信号)y(0), y(1), y(2), ..., y(N)を使って
x-axis:y(n)
y-axis: y(n + K)
z-axis: y(n + 2K)
のように取ってプロットすると面白い絵が描けます.

  • left: 再構成したアトラクタ 実数部
  • center: 再構成したアトラクタ 虚数部
  • right: 位相平面(x-asix: 実部, y-axis: 虚部 としてプロット)
音声信号の各点と三次元グラフの各点が対応しています.
時間が進むにつれて点が空間内をコロコロ動き回るイメージ.

実データの割には綺麗に描けました.

今のところ,この辺の絵を応用して新しいシンセを作れたらなぁと妄想中.
当面の技術的な目標は,
サンプルデータが通らなかった場所に点を置いたときに,
その点がどの方向に動くのかを予測して,サンプルデータに似た信号を再構成すること.
基本周波数を合わせるだけでも結構難しい….
2011/03/25
close