Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming

要約

この研究では、人間の言語処理における抽象文法表現の重要な指標である言語間構造プライミングを複製する際のリカレント ニューラル ネットワーク (RNN) とトランスフォーマーのパフォーマンスを評価します。
類型的に異なる 2 つの言語が関与する中国語と英語のプライミングに焦点を当て、特定の文構造にさらされると、その後同様の構造が選択される可能性が高まる構造プライミングの堅牢な現象を、これらのモデルがどのように処理するかを調べます。
さらに、大規模言語モデル (LLM) を利用して、言語間の構造プライミング効果を測定します。
私たちの調査結果は、Transformer がプライム文構造の生成において RNN よりも優れていることを示しており、人間の文処理には主に反復処理と即時処理が含まれるという従来の考えに疑問を投げかけ、キューベースの検索メカニズムの役割を示唆しています。
全体として、この研究は、計算モデルが多言語コンテキストにおける人間の認知プロセスをどのように反映するかについての理解に貢献します。

要約(オリジナル)

This study evaluates the performance of Recurrent Neural Network (RNN) and Transformer in replicating cross-language structural priming: a key indicator of abstract grammatical representations in human language processing. Focusing on Chinese-English priming, which involves two typologically distinct languages, we examine how these models handle the robust phenomenon of structural priming, where exposure to a particular sentence structure increases the likelihood of selecting a similar structure subsequently. Additionally, we utilize large language models (LLM) to measure the cross-lingual structural priming effect. Our findings indicate that Transformer outperform RNN in generating primed sentence structures, challenging the conventional belief that human sentence processing primarily involves recurrent and immediate processing and suggesting a role for cue-based retrieval mechanisms. Overall, this work contributes to our understanding of how computational models may reflect human cognitive processes in multilingual contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google