会話支援のためには、従来の検索とは異なる要求を満たす検索が必要となります。
次の表は、会話支援に必要な検索の要求項目を表したものです。
上の表の右側のような検索を実現するために、
われわれは下の表に示した4つの条件を満たす「単語の目立ち具合」の尺度を開発しました。
それが、参照確率という尺度です。
参照確率は、「目立っている単語ほど継続的に参照されやすい」という性質を利用した尺度です。
われわれは、この尺度が従来の言語学的知見との整合性を備えていることを、実際の大規模言語データ(日本語と英語) の上で確かめました。
文Uiにおける単語eの参照確率Pr(e|pre(Ui))とは、文Uiまでの先行文脈pre(Ui)=[U1,...,Ui]が与えられている上で、
eが後続文Ui+1で参照される条件付確率です。
上の図は、その(基本的な) 計算方法を表しています。