Information Value: Measuring Utterance Predictability as Distance from Plausible Alternatives

要約

我々は、一連のもっともらしい選択肢に対する発話の予測可能性を定量化する尺度である情報価値を提示します。
私たちは、ニューラルテキストジェネレーターを使用して情報価値の解釈可能な推定値を取得する方法を紹介し、その心理測定的予測能力を利用して、人間の理解行動を促進する予測可能性の次元を調査します。
情報価値は、トークンレベルの驚きの集合体よりも、書き言葉と口頭の対話における発話の受容性をより強力に予測するものであり、目で追跡した読書時間を予測する上で驚きを補完します。

要約(オリジナル)

We present information value, a measure which quantifies the predictability of an utterance relative to a set of plausible alternatives. We introduce a method to obtain interpretable estimates of information value using neural text generators, and exploit their psychometric predictive power to investigate the dimensions of predictability that drive human comprehension behaviour. Information value is a stronger predictor of utterance acceptability in written and spoken dialogue than aggregates of token-level surprisal and it is complementary to surprisal for predicting eye-tracked reading times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google