4.2 実験結果

 

 
データ
千葉大 京大 阪大 筑波大 電通大 合計
行為要求 57 25 1 6 6 95(8.5)
行為提案 0 1 0 0 10 11(1.0)
真偽情報要求 62 15 14 44 13 148(13.3)
未知情報要求 1 19 35 23 23 101(9.1)
行為拘束 0 0 0 0 0 0(0.0)
約束 0 0 0 1 0 1(0.1)
申し出 0 0 0 1 0 1(0.1)
感情表出 2 0 0 0 0 2(0.2)
儀礼 0 0 5 13 13 31(2.8)
情報伝達 214 78 80 245 109 726(65.1)
合計 336 138 135 333 174 1116
表 1: 暫定スキーマにおけるタグの頻度

暫定スキーマにおいて,その使用頻度に大きな偏りがある

 

 
データ
千葉大 京大 阪大 筑波大 電通大 合計
対話開始 0 4 3 6 6 19(1.6)
対話終了 2 0 3 9 7 21(1.8)
示唆 0 0 0 0 0 0(0.0)
依頼 61 11 0 0 5 77(6.6)
提案 0 1 0 1 9 11(0.9)
勧誘 0 0 0 0 1 1(0.1)
確認 25 10 3 89 7 134(11.5)
真偽情報要求 35 8 6 18 11 78(6.7)
未知情報要求 0 17 43 26 21 107(9.2)
その他の働き掛け 1 0 3 3 0 7(0.6)
約束・申し出 0 6 0 2 1 9(7.7)
希望 0 6 4 0 4 14(1.2)
情報伝達 57 14 9 14 21 115(9.9)
その他の言明 2 0 0 0 0 2(0.2)
肯定・受諾 99 16 4 50 21 190(16.3)
否定・拒否 15 3 2 4 2 26(2.2)
未知情報応答 0 19 37 53 27 136(11.7)
保留 10 6 8 1 7 32(2.7)
その他の応答 4 0 2 0 0 6(0.5)
了解 44 24 14 59 39 180(15.5)
合計 355 145 141 335 189 1165
表 2: 標準化案におけるタグの頻度

一致率の評価尺度

実際の一致率P(A)から偶然同じタグを付与する可能性(偶然の一致率 P(E))を差し引いて評価した tex2html_wrap_inline662 を用いる.

  equation365

equation370

equation375

tex2html_wrap_inline664 : カテゴリjの度数(発話行為の分類ごとの度数)
N: データ数(1対話の発話数)
k: タグづけをした人の数
m: カテゴリの種類の数(発話行為の分類の数)
tex2html_wrap_inline666 : i番目のデータにカテゴリjが付与される度数
(i番目発話に発話行為の分類jが付与されている度数)

 

 
マニュアル
対話データ 暫定スキーマ 標準化案
3者一致 2者一致 不一致 3者一致 2者一致 不一致
千葉大 60 51 1 16 78 19
京大 38 8 0 26 16 4
阪大 35 8 3 31 6 9
筑波大 86 24 1 72 35 4
電通大 26 28 6 29 22 10
合計 245 119 11 174 153 50
全発話数 375 377
P(A) 0.76 0.60
P(E) 0.44 0.10
tex2html_wrap_inline662 0.57 0.56
表 3: 発話単位タグの評価結果

2種のマニュアルによる差は,ほとんど見られない


next up previous
Next: 5 おわりに Up: 4 評価実験 Previous: 4.1 目的と内容

Masahiro Araki
1998年12月16日 (水) 10時42分03秒 JST