Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer

要約

教師なしの言語間伝達には、明示的な監督なしで言語間で知識を伝達することが含まれます。
言語を超えた知識、特に語彙や構文の知識に焦点を当てて、このようなタスクのパフォーマンスを向上させるために多くの研究が行われてきましたが、現在のアプローチは構文または語彙の情報のみを組み込んでいるため限界があります。
それぞれのタイプの情報には独自の利点があり、両方を組み合わせたこれまでの試みはなかったので、私たちはこのアプローチの可能性を探ろうと試みています。
この論文では、語彙知識と構文知識の両方を組み合わせた「語彙構文拡張多言語 BERT」と呼ばれる新しいフレームワークを紹介します。
具体的には、Multilingual BERT (mBERT) をベースモデルとして使用し、その学習機能を強化するために 2 つの手法を採用しています。
コードスイッチング技術は、モデルに語彙アライメント情報を暗黙的に教えるために使用され、構文ベースのグラフ アテンション ネットワークは、モデルが構文構造をエンコードできるように設計されています。
両方のタイプの知識を統合するために、コード交換シーケンスを構文モジュールと mBERT 基本モデルの両方に同時に入力します。
私たちの広範な実験結果は、このフレームワークが一貫してゼロショット言語間伝達のすべてのベースラインを上回るパフォーマンスを示し、テキスト分類、固有表現認識 (ner)、および意味解析タスクで 1.0 ～ 3.7 ポイントの向上をもたらしました。
キーワード: 言語間伝達、語彙、構文、コードスイッチング、グラフアテンションネットワーク

要約(オリジナル)

Unsupervised cross-lingual transfer involves transferring knowledge between languages without explicit supervision. Although numerous studies have been conducted to improve performance in such tasks by focusing on cross-lingual knowledge, particularly lexical and syntactic knowledge, current approaches are limited as they only incorporate syntactic or lexical information. Since each type of information offers unique advantages and no previous attempts have combined both, we attempt to explore the potential of this approach. In this paper, we present a novel framework called ‘Lexicon-Syntax Enhanced Multilingual BERT’ that combines both lexical and syntactic knowledge. Specifically, we use Multilingual BERT (mBERT) as the base model and employ two techniques to enhance its learning capabilities. The code-switching technique is used to implicitly teach the model lexical alignment information, while a syntactic-based graph attention network is designed to help the model encode syntactic structure. To integrate both types of knowledge, we input code-switched sequences into both the syntactic module and the mBERT base model simultaneously. Our extensive experimental results demonstrate this framework can consistently outperform all baselines of zero-shot cross-lingual transfer, with the gains of 1.0~3.7 points on text classification, named entity recognition (ner), and semantic parsing tasks. Keywords:cross-lingual transfer, lexicon, syntax, code-switching, graph attention network

arxiv情報

提供元, 利用サービス

arxiv.jp, Google