Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars

要約

計算言語学では、階層構造により言語モデル (LM) がより人間らしくなることが示されています。
ただし、これまでの文献では、階層モデルの解析戦略については明確ではありませんでした。
この論文では、階層構造が LM をより人間らしくするかどうか、そうであればどの解析戦略が認知的に最も妥当であるかを調査しました。
この疑問に対処するために、我々は、頭から最後の左分岐構造を使用して、人間の日本語の読解時間に対して 3 つの LM を評価しました。シーケンシャル モデルとしての長短期記憶 (LSTM) と、トップダウンのリカレント ニューラル ネットワーク文法 (RNNG) です。
階層モデルとしての左隅解析戦略。
私たちの計算モデリングでは、左隅の RNNG がトップダウンの RNNG や LSTM よりもパフォーマンスが優れていることが実証され、階層型および左隅のアーキテクチャがトップダウンまたはシーケンシャル アーキテクチャよりも認知的に妥当であることが示唆されました。
さらに、認知的妥当性と (i) 困惑性、(ii) 解析、および (iii) ビーム サイズとの関係についても説明します。

要約(オリジナル)

In computational linguistics, it has been shown that hierarchical structures make language models (LMs) more human-like. However, the previous literature has been agnostic about a parsing strategy of the hierarchical models. In this paper, we investigated whether hierarchical structures make LMs more human-like, and if so, which parsing strategy is most cognitively plausible. In order to address this question, we evaluated three LMs against human reading times in Japanese with head-final left-branching structures: Long Short-Term Memory (LSTM) as a sequential model and Recurrent Neural Network Grammars (RNNGs) with top-down and left-corner parsing strategies as hierarchical models. Our computational modeling demonstrated that left-corner RNNGs outperformed top-down RNNGs and LSTM, suggesting that hierarchical and left-corner architectures are more cognitively plausible than top-down or sequential architectures. In addition, the relationships between the cognitive plausibility and (i) perplexity, (ii) parsing, and (iii) beam size will also be discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google