The Effect of Surprisal on Reading Times in Information Seeking and Repeated Reading

要約

驚きが処理の困難に及ぼす影響は、心理言語学における研究の中心的なテーマとなっています。
ここでは、視線追跡データを使用して、日常生活で一般的であるものの、この問題に関しては取り上げられていない 3 つの言語処理体制、つまり情報探索、反復処理、およびその 2 つの組み合わせを調べます。
標準的なレジームに依存しないサプライズ推定を使用すると、処理時間に対するサプライズの線形効果の存在に関するサプライズ理論の予測がこれらのレジームにも及ぶことがわかります。
しかし、人間に与えられたコンテキストやタスクと一致する体制固有のコンテキストからの意外な推定値を使用すると、情報探索において、そのような推定値は標準的な驚きと比較して処理時間の予測能力を向上させないことがわかります。
さらに、レジーム固有のコンテキストでは、繰り返し読み取りの処理時間の予測力がなく、ほぼゼロの予想外の推定値が得られます。
これらの発見は、人間と現在の言語モデルとの間のタスクと記憶の表現の不整合を指摘しており、認知的に関連する量を推定するためにそのようなモデルがどの程度使用できるかについて疑問を投げかけています。
これらの結果によってもたらされる理論的課題についてさらに議論します。

要約(オリジナル)

The effect of surprisal on processing difficulty has been a central topic of investigation in psycholinguistics. Here, we use eyetracking data to examine three language processing regimes that are common in daily life but have not been addressed with respect to this question: information seeking, repeated processing, and the combination of the two. Using standard regime-agnostic surprisal estimates we find that the prediction of surprisal theory regarding the presence of a linear effect of surprisal on processing times, extends to these regimes. However, when using surprisal estimates from regime-specific contexts that match the contexts and tasks given to humans, we find that in information seeking, such estimates do not improve the predictive power of processing times compared to standard surprisals. Further, regime-specific contexts yield near zero surprisal estimates with no predictive power for processing times in repeated reading. These findings point to misalignments of task and memory representations between humans and current language models, and question the extent to which such models can be used for estimating cognitively relevant quantities. We further discuss theoretical challenges posed by these results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google