単語N-gramの学習

大量のテキストデータから統計的に学習
     収集テキスト
          「…今日はいい天気…彼は遊びに…」
            ↓   形態素解析(Chasen等)
     単語に分割
          「… 今日+キョー16 は+62 いい+48 天気+テンキ+2 …」
            ↓ 
     1〜N個の単語の並びをカウント
           今日+キョー16 は+62   240
           は+62 いい+48             30
           今日+キョー16 に+58   140
           今日+キョー16            800
           …
     確率計算
          P(は+62 | 今日+キョー16) = 240/800 = 0.3 ...