CSSL: Contrastive Self-Supervised Learning for Dependency Parsing on Relatively Free Word Ordered and Morphologically Rich Low Resource Languages

要約

ニューラル依存関係解析は、リソースが少ない形態学的に豊富な言語で顕著なパフォーマンスを達成しました。
また、形態学的に豊富な言語は比較的自由な語順を示すこともよく研究されています。
これは根本的な調査を促します。形態学的に豊富な言語の比較的自由な語順の性質を利用して、語順の変動に対してモデルを堅牢にして、依存関係解析のパフォーマンスを向上させる方法はあるのでしょうか?
この研究では、7 つの比較的自由な語順言語におけるグラフベースの解析アーキテクチャの堅牢性を検証します。
私たちは、これらのアーキテクチャをそれに応じて適応させるために必要な、データの拡張や位置エンコーディングの削除などの重要な変更を精査することに重点を置いています。
この目的を達成するために、モデルを語順の変動に対して堅牢にするための対照的な自己教師あり学習方法を提案します。
さらに、最も優れたパフォーマンスのベースラインと比較した場合、UAS/LAS スコア測定基準で測定したように、私たちが提案した修正は、7 つの比較的自由な語順言語で平均 3.03/2.95 ポイントの大幅な向上を示しています。

要約(オリジナル)

Neural dependency parsing has achieved remarkable performance for low resource morphologically rich languages. It has also been well-studied that morphologically rich languages exhibit relatively free word order. This prompts a fundamental investigation: Is there a way to enhance dependency parsing performance, making the model robust to word order variations utilizing the relatively free word order nature of morphologically rich languages? In this work, we examine the robustness of graph-based parsing architectures on 7 relatively free word order languages. We focus on scrutinizing essential modifications such as data augmentation and the removal of position encoding required to adapt these architectures accordingly. To this end, we propose a contrastive self-supervised learning method to make the model robust to word order variations. Furthermore, our proposed modification demonstrates a substantial average gain of 3.03/2.95 points in 7 relatively free word order languages, as measured by the UAS/LAS Score metric when compared to the best performing baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google