Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities

要約

人間はガーデンパス効果を示します。一時的に構造的に曖昧な文章を読むとき、構造が明確になり、あまり好まれない代替案が優先されると、読む速度が遅くなります。
この発見の顕著な説明である意外性理論 (Hale、2001; Levy、2008) は、これらの速度の低下は、これらの文に出現する各単語の予測不可能性によるものであると提案しています。
この仮説に異議を唱え、van Schijndel & Linzen (2021) は、言語モデルから導出された単語の予測可能性のコストの推定値が、人間のガーデン パス効果の大きさを大幅に過小評価していることを発見しました。
この研究では、この過小評価が、人間が予測において構文要素を言語モデルよりも高く評価しているという事実によるものなのかどうかを検討します。
言語モデルから構文の予測可能性を推定する方法を提案します。これにより、語彙と構文の予測可能性のコストを個別に評価できるようになります。
構文上の予測可能性を語彙上の予測可能性から独立して扱うと、実際にガーデンパスの推定値が大きくなることがわかりました。
同時に、構文上の予測可能性が独立して重み付けされている場合でも、サプライズは依然として人間のガーデンパス効果の大きさを大幅に過小評価しています。
私たちの結果は、ガーデンパスセンテンスに関連する処理コストの原因は予測可能性だけではないという仮説を裏付けています。

要約(オリジナル)

Humans exhibit garden path effects: When reading sentences that are temporarily structurally ambiguous, they slow down when the structure is disambiguated in favor of the less preferred alternative. Surprisal theory (Hale, 2001; Levy, 2008), a prominent explanation of this finding, proposes that these slowdowns are due to the unpredictability of each of the words that occur in these sentences. Challenging this hypothesis, van Schijndel & Linzen (2021) find that estimates of the cost of word predictability derived from language models severely underestimate the magnitude of human garden path effects. In this work, we consider whether this underestimation is due to the fact that humans weight syntactic factors in their predictions more highly than language models do. We propose a method for estimating syntactic predictability from a language model, allowing us to weigh the cost of lexical and syntactic predictability independently. We find that treating syntactic predictability independently from lexical predictability indeed results in larger estimates of garden path. At the same time, even when syntactic predictability is independently weighted, surprisal still greatly underestimate the magnitude of human garden path effects. Our results support the hypothesis that predictability is not the only factor responsible for the processing cost associated with garden path sentences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google