A Morphology-Based Investigation of Positional Encodings

要約

現代の深層学習モデルは、多様な形態を持つ言語に直接統合されていないにもかかわらず、効果的に処理します。
形態と語順は密接に関連しており、後者は位置エンコーディングを通じてトランスフォーマーベースのモデルに組み込まれています。
これは、言語の形態学的複雑さと、事前トレーニングされた言語モデルにおける位置エンコーディングの利用との間に相関関係があるのか​​という根本的な疑問を引き起こします。
答えを求めて、22 の言語と 5 つの下流タスクを網羅する、この質問に対処する最初の研究を紹介します。
私たちの調査結果は、言語の形態学的複雑さが増大するにつれて、位置エンコーディングの重要性が減少することを明らかにしています。
私たちの研究は、検討中のさまざまな言語をよりよく反映するために位置エンコーディングを強化し、位置エンコーディングをより深く理解する必要性を刺激します。

要約(オリジナル)

Contemporary deep learning models effectively handle languages with diverse morphology despite not being directly integrated into them. Morphology and word order are closely linked, with the latter incorporated into transformer-based models through positional encodings. This prompts a fundamental inquiry: Is there a correlation between the morphological complexity of a language and the utilization of positional encoding in pre-trained language models? In pursuit of an answer, we present the first study addressing this question, encompassing 22 languages and 5 downstream tasks. Our findings reveal that the importance of positional encoding diminishes with increasing morphological complexity in languages. Our study motivates the need for a deeper understanding of positional encoding, augmenting them to better reflect the different languages under consideration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google