| 音パレットの概要 |
音パレットでは， 複数の楽器音を分析することで音色の歪みを抑えて楽器音の高さや長さを操作する ことができます[1]． ここでの音色の歪みとは， 操作された音と同じ音高・音長をもつ実楽器から発音された音との， 音色上での差異を指します． 例えばピアノの音を従来技術で1オクターブ上げた合成音と， 合成音と同じ音の高さを持つ実際のピアノから発音された音では， 1オクターブ違うと楽器内の発音機構・部位が大きく異なるので， 違う音色に聴こえます． 音の長さにおいても， 従来技術での操作ではアタック音やヴィブラートの特徴が歪められました． 従来にも音の高さや長さを変える技術はいくつか存在したのですが， 音パレットでは過去の音響心理学の知見[2]に基づき， 音色を数理モデルとして表現することで品質の高い音高・音長操作を実現してます． なお，楽器音が手元にひとつ（の高さ）しかない場合でも， 従来技術と同様にその楽器が実際に発音できる全ての音高・音長をもつ音を合成することができます．
| 単音サンプル |
音パレットと従来技術で合成した楽器音のサンプルをいくつか用意しました． 従来技術には古典的な楽器音操作技術であるフェーズボコーダと， 音声分析変換合成法であるSTRAIGHTの2つを選択しました．
ピアノとアルトサックスの音(440Hz)の高さを各々の技術で変えて合成した音のサンプルです． 音パレットでは複数の楽器を分析することで， 音の高さに起因する音色の変化を考慮して楽器音の高さを変える ことができます． 以下のサンプルでは入力音を1オクターブ低い音(Low)と1オクターブ高い音(High)へと操作しています． 音パレットで合成するときのみ， 入力音とは高低に半オクターブ違う音を2つ(それぞれ約311Hzと622Hz)多く入力しています． (合成音と同じ音の高さの)比較用の実楽器音も用意しました．
| ピアノ | アルトサックス | ||||
| 入力音 |
|
|
|||
| 音の高さ | Low | High | Low | High | |
| 合成音 | フェーズボコーダ |
|
|
|
|
| STRAIGHT |
|
|
|
|
|
| 音パレット |
|
|
|
|
|
| 実楽器音 (比較用) |
|
|
|
|
|
ヴィブラート奏法で演奏しているエレキギターとヴァイオリン音の長さを音パレットで操作した音のサンプルです． 音パレットではヴィブラートのかかる区間及び周期を分析することにより， ヴィブラートの歪みを抑えながら楽器音の長さを変える ことを実現しています． 以下のサンプルでは音の長さを4倍へと操作しています (ヴィブラートを分析する技術はSTRAIGHTにも実装可能なので， フェーズボコーダとのみ比較しています)．
| エレキギター | ヴァイオリン | ||
| 入力音 |
|
|
|
| 合成音 | フェーズボコーダ |
|
|
| 音パレット |
|
|
|
| デモ動画 |
5:23から音パレットの技術を使った試作システムのデモ動画が始まります．
| FAQ for デモ動画 |
デモシステムでは 複数個の実楽器音を分析して音高・音長を操作した音 を用いて，楽器音をmidiの楽譜情報に基づいて配置することで楽曲を構成しています． (ジャンルボタンを押す前の音はwindowsに付属しているmidiの音源です)． デモ動画にて音パレットで合成された音の質の高さを確認できます．
自動での編曲は実現しておらず，それは今後の課題です． ジャンルを変更してアレンジする際，編曲も同時に行うのが 一般的であり，デモンストレーションのために人手で編曲を行いました． ただし，編曲後のmidiや楽譜さえ与えれば， 自然な音高・音長操作を施した楽器音で編曲することが可能です．
| 展望・課題 |
音パレットは，最終的には音高・音長を操作するだけでなく， その音色も複数の楽器個体から混ぜ合わせる （モーフィングできる）ことを目標にしています。 音を混ぜる技術を現在，研究中でありますが， 実験にて既にある程度の成果を残しています． また，音パレットは音色の歪みを抑えながら音を合成できる一方， その合成音の品質にはまだまだ課題が残っております． これら課題を含めて今後もさらなる音質の改善へ取り組んでいきます．
| 参考文献 |
| 謝辞 |
音パレットはCrestMuse Project より支援を受け開発されました． 本デモページでは RWC-MDB-I-2001における No.1, 13, 15, 26の楽器音， STRAIGHT， MARSYASの フェーズボコーダを使用しております． 関係者の方々に感謝いたします．