Language models emulate certain cognitive profiles: An investigation of how predictability measures interact with individual differences

要約

これまで、読書における驚きとエントロピー効果に関する研究のほとんどは、個人差を無視してグループレベルで行われてきました。
この研究では、言語使用者の認知能力の情報を組み込むことにより、人間の読書時間のデータを処理労力の尺度として、さまざまな言語モデル (LM) から推定したサプライズとエントロピーの尺度の予測力を再検討します。
そのために、さまざまな心理測定テストも完了した個人から得られたデータの読み取りに関する生成 LM から推定される驚きとエントロピーの予測力を評価します。
具体的には、認知スコアに関連した驚きとエントロピーを調整することで読書時間の予測精度が向上するかどうかを調査し、LMが認知能力の高いグループまたは低いグループの読書時間の予測において系統的なバイアスを示すかどうかを調査し、心理言語学的被験者がどのようなタイプであるかを明らかにします。
特定の LM がエミュレートします。
私たちの研究では、ほとんどの場合、認知能力を組み込むと、読書時間に関する驚きとエントロピーの予測力が高まり、一般に、心理測定テストの成績が高いほど、予測可能性の影響に対する感度が低いことがわかりました。
最後に、我々の結果は、分析されたLMが言語知能の低い読者をエミュレートしていることを示唆しており、これは、特定のターゲットグループ（つまり、言語知能が高い個人）に対して、これらのLMが提供する予測可能性の推定精度が低いことを示唆しています。

要約(オリジナル)

To date, most investigations on surprisal and entropy effects in reading have been conducted on the group level, disregarding individual differences. In this work, we revisit the predictive power of surprisal and entropy measures estimated from a range of language models (LMs) on data of human reading times as a measure of processing effort by incorporating information of language users’ cognitive capacities. To do so, we assess the predictive power of surprisal and entropy estimated from generative LMs on reading data obtained from individuals who also completed a wide range of psychometric tests. Specifically, we investigate if modulating surprisal and entropy relative to cognitive scores increases prediction accuracy of reading times, and we examine whether LMs exhibit systematic biases in the prediction of reading times for cognitively high- or low-performing groups, revealing what type of psycholinguistic subject a given LM emulates. Our study finds that in most cases, incorporating cognitive capacities increases predictive power of surprisal and entropy on reading times, and that generally, high performance in the psychometric tests is associated with lower sensitivity to predictability effects. Finally, our results suggest that the analyzed LMs emulate readers with lower verbal intelligence, suggesting that for a given target group (i.e., individuals with high verbal intelligence), these LMs provide less accurate predictability estimates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google