Emergent Word Order Universals from Cognitively-Motivated Language Models

要約

世界の言語は、いわゆる類型的または含意的な普遍性を示します。
たとえば、主語-目的語-動詞 (SOV) の語順では通常、後置詞が使用されます。
このような偏見の原因を説明することは、言語学の重要な目標です。
私たちは言語モデル (LM) を用いた計算シミュレーションを通じて語順ユニバーサルを研究します。
私たちの実験は、類型学的に典型的な語順は、構文バイアス、特定の解析戦略、記憶制限など、認知的にもっともらしいバイアスを持つ LM によって推定される混乱度が低い傾向があることを示しています。
これは、これらの認知バイアスと予測可能性 (困惑性) の相互作用によって、語順の普遍性の多くの側面を説明できることを示唆しています。
これは、言語ユニバーサルの計算シミュレーションにおける、認知モデリングで通常使用される認知的に動機付けられた LM の利点も示しています。

要約(オリジナル)

The world’s languages exhibit certain so-called typological or implicational universals; for example, Subject-Object-Verb (SOV) word order typically employs postpositions. Explaining the source of such biases is a key goal in linguistics. We study the word-order universals through a computational simulation with language models (LMs). Our experiments show that typologically typical word orders tend to have lower perplexity estimated by LMs with cognitively plausible biases: syntactic biases, specific parsing strategies, and memory limitations. This suggests that the interplay of these cognitive biases and predictability (perplexity) can explain many aspects of word-order universals. This also showcases the advantage of cognitively-motivated LMs, which are typically employed in cognitive modeling, in the computational simulation of language universals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google