1L-05 即興演奏における演奏補正システム

柳川貴央北原鉄朗武田正之

東京理科大学理工学部情報科学科

1. はじめに

音楽の楽しみ方のひとつに即興演奏がある．即興演奏は，演奏中に旋律を創作するため，数ある演奏形態の中でも特に豊かな自己表現が可能である．しかし，即興演奏には，高度な音楽の知識と演奏技術が必要とされるため，ある程度演奏経験がある人でも思い通りに演奏をすることは難しい．

一方，近年，計算機によって演奏を支援する研究が増えてきている^{1)∼3)}．しかし，即興演奏において誤った演奏を補正するものは少ない． “音機能固定マッピング楽器”^{1)} は，楽器のインタフェースを従来の音高ではなく機能別に配置した新楽器の提案であるが，この楽器の演奏技術を新たに習得しなければならないという問題がある． “Coloring-in Piano”^{2)} は，演奏したい曲の音高情報をあらかじめ計算機に入力しておくことで，どの鍵盤を弾いても正しい音高の音を出すことができるシステムである．そのため，即興演奏には適用することができない． “INSPIRATION”^{3)} は，アヴェイラブルノートスケール^{☆}から外れる音（アウト音と呼ぶ）を全て同スケール内の音に補正する演奏支援システムである．しかし，アウト音を全て補正してしまうと，演奏者の表現の幅が狭くなってしまうという問題（過補正の問題と呼ぶ）がある．

そこで本稿では，このような過補正の問題に対応した即興演奏用演奏補正システムを提案する．本システムでは，旋律のデータベース（既存の楽曲の旋律，コード，調のデータを数多く収録したもの）から，様々な条件下でのアウト音の使用頻度を算出し，使用頻度の低いアウト音のみ補正する．これにより，表現の幅を狭めずに演奏補正を行うことができる．

2. 演奏補正の方法

本研究で提案する演奏補正の方法を「どの音を補正するか」と「どの音に補正するか」に分けて考える．また，補正を行う際に生じる問題についても述べる．

2.1 どの音を補正するか

補正の対象を決める１つの方法として，アウト音をすべて補正対象とする方法が挙げられる．なぜなら，アウト音は，伴奏と綺麗なハーモニーを形成しにくいとされているからである．しかし，実際の演奏中に，アウト音が１度も使われないのは，むしろ稀であり，アウト音をすべて補正してしまうことは望ましくない．

そこで本研究では，打鍵されたアウト音が補正されるべきかどうかを旋律のデータベースに基づいて判断する手法を提案する．まず，旋律のデータベースから様々な条件下でのア

表 1 2.1 の処理で用いる特徴ベクトルの各要素
内容取りうる値
1 対象音の直前の音がアウト音か．  True, False
2 {対象音の発音のタイミングは， 8 分音符レベ \atop ルで表か裏か．}表，裏
3 {対象音の発音のタイミングは，コードチェン \atop ジと同時か．}True, False
4 {対象音とその直前の音（補正されている場合 \atop は補正後）との音高差．}{短 2 度，長 2 度， \atop 短 3 度以上}
5 対象音とその直前の音との間に休符があるか．True, False

ウト音の使用頻度を算出する．そして，打鍵されたアウト音の使用頻度が低い場合のみ補正を行う． 2.1.1 アウト音の使用頻度の算出まず，旋律のデータベース中の各音に対して，その音自身やその音の直前までの旋律の特徴を特徴ベクトルとして表現する．現在の実装で用いている特徴ベクトルを表 1 に示す．そして，特徴ベクトルの各実現値 x = (x_{1}, ⋯, x_{d}) に対して，ある音の特徴ベクトルがx であるときに，その音がアウト音である確率，すなわち，

p(x) = P (Y = 1 | X_{1} = x_{1} ∩ ⋯ ∩ X_{d} = x_{d}) を求める．ここで X_{1}, ⋯, X_{d} は特徴ベクトルの各要素を表す確率変数， Y はアウト音であるかどうかを表す確率変数である（アウト音なら 1，それ以外なら 0）．この値は，特徴ベクトルが示す条件下でのアウト音の使用頻度を表している．

2.1.2 補正の必要性の判断

次に，この様々な条件下でのアウト音の使用頻度をもとに補正の必要性を判断する．まず，演奏中に検出されたアウト音（補正候補音と呼ぶ）に対して，同様に特徴ベクトルを求める．今，ある補正候補音 i から求めた特徴ベクトルをx_{i} とすると， p(x_{i}) が比較的高いとき， i は，実際の演奏中での使用頻度が高い音である．そこで，あるしきい値を定め，その値よりも p(x_{i}) が低いときのみ， i を補正の対象とする．

2.2 どの音に補正するか

本稿では次のルールに基づいて補正後の音を決定する．なお，各ルールが競合した場合，番号の小さいものを優先する．ルール 1 補正後の音がアウト音にならないようにする．ルール 2 直前の音に対する音高の推移方向（上昇や下降など）が，補正前後で等しくなるようにする．ルール 3 補正後の音の音高が，補正前のものにできるだけ近くなるようにする．ルール 4 補正後の音がコード構成音と非コード構成音では，コード構成音を優先する．

2.3 補正を行う際に生じる問題

補正処理によって音高が変更されるとき，音高の推移方向が変わってしまうことがある．これは演奏者が違和感を感じる可能性があるため避けることが望ましい．

これを解決するため， 2.1， 2.2 で述べた補正（本補正と

A Pitch Correcting System for Improvisation by Takahiro Yanagawa, Tetsuro Kitahara and Masayuki Takeda (Science University of Tokyo)

☆それぞれのコードに最も適している音で構成されるスケール^{4)}．

表 2 条件付き確率の値（p(x)=0 のものは除く）
特徴ベクトル p(x) 特徴ベクトル p(x)
１２３４５１２３４５
T 表 T M2 F \underline{.3333} F 表 F m2 T \underline{.3265}
T 表 T m3〜 F .0333 F 表 F m2 F \underline{.2325}
T 表 F M2 T \underline{.2000} F 表 F M2 T .0194
T 表 F M2 F \underline{.1111} F 表 F M2 F .0356
T 表 F m3〜 T \underline{.2727} F 表 F m3〜 T .0404
T 表 F m3〜 F \underline{.3000} F 表 F m3〜 F .0306
T 裏 F M2 F \underline{.1429} F 裏 F m2 T .0909
T 裏 F m3〜 T \underline{.5000} F 裏 F m2 F \underline{.1926}
T 裏 F m3〜 F .0882 F 裏 F M2 T .0213
F 表 T m2 F .0780 F 裏 F M2 F .0424
F 表 T M2 F .0283 F 裏 F m3〜 T .0388
F 表 T m3〜 T .0161 F 裏 F m3〜 F .0433
F 表 T m3〜 F .0247

注： T=True， F=False， m2=短 2 度， M2=長 2 度， m3〜=短 3 度以上，下線=しきい値を超えた値．

呼ぶ）の前に補正前後の音高の推移方向を保存するための補正（前補正と呼ぶ）を行う．たとえば， F♯ 音が本補正によって G 音として発音されているとき，次に G 音が打鍵されると，打鍵上の推移方向（上昇）と発音上の推移方向（水平）が一致しなくなる．そこで，打鍵された G 音を G♯ 音に補正してから（必要ならば）本補正を行うことで，打鍵上の推移方向と発音上の推移方向を一致させる．なお，この前補正では補正幅は高々半音であり，補正後の音がアウト音かどうかは考慮しない．

3. 実験結果

以上で提案した手法を実装し，以下の実験を行った．

3.1 実装

提案手法を Windows 上で C 言語を用いて実装した．旋律のデータベースには，スタンダード・ジャズのメロディ譜（コード情報含む）を掲載した曲集^{5)} から， 100 曲をランダムに選び，曲データを入力した．その結果 2.1 で述べた p(x) の値は表 2 のようになった．また，しきい値は 0.1000 とした．

ユーザが，計算機内に用意された伴奏用データ（コード情報含む）の再生に合わせ， MIDI キーボードで単音のみの即興演奏を行うと，提案手法に基づいて補正された音が発音される．このとき，補正前，補正後の演奏データがスタンダード MIDI ファイルとして保存される．

3.2 実験

実験はアンケート方式で行う．まず，ある被験者に本システムを用いて演奏してもらう．被験者は幼少の頃にピアノのレッスンを受けた経験があり，ある程度の即興演奏経験がある．伴奏データとして，互いに調やコード進行の異なる 3 曲を用いた．その後，演奏データを演奏者以外の被験者（10 人）に聴いてもらい，以下の項目についてアンケートを採った． 1 旋律に違和感がないか． 2 旋律が滑らかであるか． 3 旋律がありきたりでないか．なお，提案手法に基づいて補正を行った演奏データの他に，

表 3 アンケートの結果（数値が高いほうが高評価）
設問曲 1 (調： Am) 曲 2 (調： E) 曲 3 (調： A♭m)
番号 A B C A B C A B C
1  2.1 4.2 3.9 1.8 4.3 4.5 2.2 3.8 3.9
2  3.4 2.8 3.8 3.7 2.5 4.3 3.5 3.0 3.9
3  4.2 2.5 3.9 4.2 2.8 4.1 3.8 2.1 3.8

注： A=補正前， B=過補正を考慮せずに補正， C=提案手法で補正．

補正前のもの，過補正を考慮せずに補正を行ったもの（アウト音をすべて補正したもの）も同様に評価する．各演奏データにおける評価の平均値を表 3 に示す．

3.3 結果の考察

設問 1 において，提案手法に基づいて補正を行った場合と過補正を考慮せずに補正を行った場合の評価の間に明確な差が見られなかった．これにより，アウト音が存在しても，提案手法で補正の対象とならなかったものであれば，旋律の違和感に影響がないと考えることができる．

設問 2 において，提案手法に基づいて補正を行った場合，補正前に比べ，評価が 0.4〜0.6 上がったのに対し，過補正を考慮せずに補正を行った場合は 0.5〜1.2 下がった．これは，過補正を考慮しない手法が，過去の旋律を考慮して補正を行っていないからだと考えることができる．

設問 3 において，提案手法に基づいて補正を行った場合，補正前に比べ，評価が 0.0〜0.3 しか下がらなかったのに対し，過補正を考慮せずに補正を行った場合は 1.4〜1.7 も下がった．これは，旋律中のアウト音が全て補正されてしまい，表現の幅が狭くなってしまったからだと考えることができる．以上より，提案手法は旋律の滑らかさや表現の幅を十分に

考慮した演奏補正手法と言うことができる．

4. おわりに

本稿では，過補正の問題に対応した即興演奏用演奏補正システムについて述べた．旋律のデータベースに基づいて，使用頻度の低いアウト音のみを補正することで，表現の幅を狭めずに演奏補正を行うことができた．

今後は，より大きなデータベースの使用を検討するだけでなく，演奏者ごとにデータベースを用意することで，演奏者のいわゆる手癖なども考慮したシステムを検討する．また，様々な音楽ジャンルに対応できるよう手法を拡張するとともに，和音同定処理を導入することで，あらかじめ用意された伴奏データではなく，他の演奏者の演奏に基づいて補正を行えるように改良していく予定である．

参考文献

1) 西本他：創造的音楽表現を可能とする音楽演奏支援手法の検討―音機能固定マッピング楽器の提案，情処学論， Vol.39， No.5， pp.1556–1567， 1998．

2) 大島他： Coloring-in Piano ：表情付けに専念できるピアノの提案，情処研報， 2001-MUS-42， pp.69–74， 2001．

3) 谷井，片寄：音楽知識と技能を補うピアノ演奏システム “INSPI-RATION”，

                                                                http://www.sys.wakayama-u.ac.jp/s025062/tecnote.pdf

4) 岩田他：定番実用音楽事典，ドレミ楽譜出版社， 2001．

5) 伊藤伸吾：ザ・プロフェッショナルスタンダード・ジャズハンドブック，中央アート出版社， 1992．