Cross-Lingual Transfer of Cognitive Processing Complexity

要約

人間がテキストを読むとき、目の動きは入力文の構造の複雑さに影響されます。
この認知現象は言語全体に当てはまり、最近の研究では、多言語言語モデルが言語間の構造的類似性を利用して言語間の伝達を促進することが示されています。
文レベルの視線追跡パターンを構造の複雑さの認知指標として使用し、英語のデータのみで微調整されているにもかかわらず、多言語モデル XLM-RoBERTa が 13 の類型的に多様な言語のさまざまなパターンを正常に予測できることを示します。
構造の複雑さに対するモデルの感度を定量化し、さまざまな複雑さの特徴を区別します。
私たちの結果は、モデルが文の長さに対して意味のあるバイアスを発生させるだけでなく、言語間の違いも統合することを示しています。
ランダム化された語順で対照実験を行ったところ、モデルがさらに複雑な構造情報をキャプチャしているように見えることがわかりました。

要約(オリジナル)

When humans read a text, their eye movements are influenced by the structural complexity of the input sentences. This cognitive phenomenon holds across languages and recent studies indicate that multilingual language models utilize structural similarities between languages to facilitate cross-lingual transfer. We use sentence-level eye-tracking patterns as a cognitive indicator for structural complexity and show that the multilingual model XLM-RoBERTa can successfully predict varied patterns for 13 typologically diverse languages, despite being fine-tuned only on English data. We quantify the sensitivity of the model to structural complexity and distinguish a range of complexity characteristics. Our results indicate that the model develops a meaningful bias towards sentence length but also integrates cross-lingual differences. We conduct a control experiment with randomized word order and find that the model seems to additionally capture more complex structural information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google