Testing the Predictions of Surprisal Theory in 11 Languages

要約

心理言語学の根本的な結果は、予測可能でない単語が処理に時間がかかることです。
この発見の理論的説明の1つは、驚くべき理論（Hale、2001; Levy、2008）です。これは、単語の予測可能性をその驚くべきものとして定量化します。
驚くべき理論の予測を支持する証拠は広く複製されていますが、ほとんどは非常に狭いデータのスライスに焦点を当てています。英語のテキストを読んでいます。
実際、包括的な多言語分析は存在しません。
私たちは、5つの言語ファミリに分配された11の異なる言語での驚き時間と読書時間の関係を調査することにより、現在の文献のこのギャップに対処します。
単一言語および多言語のコーパスで訓練された言語モデルから推定値を導き出すと、驚くべき理論に関連する3つの予測をテストします。（i）驚きが読み取り時間を予測するかどうか。
（ii）予想される驚き、すなわち文脈的エントロピーが読み取り時間を予測するかどうか。
（iii）そして、驚きと読み取り時間の間のリンク関数が線形であるかどうか。
3つの予測はすべて、言語的に反論していることがわかります。
より多様な言語のセットに焦点を当てることにより、これらの結果は、情報理論と言語間での言語処理の段階的処理との間の最も堅牢なリンクを提供すると主張します。

要約(オリジナル)

A fundamental result in psycholinguistics is that less predictable words take a longer time to process. One theoretical explanation for this finding is Surprisal Theory (Hale, 2001; Levy, 2008), which quantifies a word’s predictability as its surprisal, i.e. its negative log-probability given a context. While evidence supporting the predictions of Surprisal Theory have been replicated widely, most have focused on a very narrow slice of data: native English speakers reading English texts. Indeed, no comprehensive multilingual analysis exists. We address this gap in the current literature by investigating the relationship between surprisal and reading times in eleven different languages, distributed across five language families. Deriving estimates from language models trained on monolingual and multilingual corpora, we test three predictions associated with surprisal theory: (i) whether surprisal is predictive of reading times; (ii) whether expected surprisal, i.e. contextual entropy, is predictive of reading times; (iii) and whether the linking function between surprisal and reading times is linear. We find that all three predictions are borne out crosslinguistically. By focusing on a more diverse set of languages, we argue that these results offer the most robust link to-date between information theory and incremental language processing across languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google