Massively Multilingual Lexical Specialization of Multilingual Transformers

要約

事前トレーニング済み言語モデル (PLM) は主に、さまざまな下流タスクに合わせて微調整できる汎用テキスト エンコーダーとして機能しますが、最近の研究では、高品質の単語表現 (つまり、静的表現) を生成するために再配線できることも示されています。
単語の埋め込みなど）、型レベルの語彙タスクで優れたパフォーマンスをもたらします。
既存の研究は主に、膨大な量の単言語制約を持つ単言語 PLM の語彙の特殊化に焦点を当てていましたが、この研究では、BabelNet を容易に利用できるツールとして BabelNet を活用し、大規模な多言語トランスフォーマー (MMT、たとえば mBERT や XLM-R) を多言語の語彙知識に大規模に公開します。
多言語および言語を超えたタイプレベルの語彙知識の豊富な情報源が利用可能です。
具体的には、BabelNet の多言語構文セットを使用して 50 の言語にわたる同義語ペア (または同義語と光沢のペア) を作成し、MMT (mBERT および XLM-R) に対照的な目的に基づいた語彙特殊化手順を適用します。
我々は、このような大規模な多言語語彙の特殊化が、2 つの標準的な言語を越えた語彙タスク、二言語語彙の帰納と言語を越えた単語の類似性、および言語を越えた文の検索において大幅な利益をもたらすことを示します。
重要なことに、特殊化では見られない言語の利益が観察され、多言語語彙特殊化によって語彙制約のない言語への一般化が可能になることが示されています。
その後の一連の制御された実験で、特殊化制約の数が、その制約が由来する言語のセットよりもはるかに大きな役割を果たすことを示しました。

要約(オリジナル)

While pretrained language models (PLMs) primarily serve as general-purpose text encoders that can be fine-tuned for a wide variety of downstream tasks, recent work has shown that they can also be rewired to produce high-quality word representations (i.e., static word embeddings) and yield good performance in type-level lexical tasks. While existing work primarily focused on the lexical specialization of monolingual PLMs with immense quantities of monolingual constraints, in this work we expose massively multilingual transformers (MMTs, e.g., mBERT or XLM-R) to multilingual lexical knowledge at scale, leveraging BabelNet as the readily available rich source of multilingual and cross-lingual type-level lexical knowledge. Concretely, we use BabelNet’s multilingual synsets to create synonym pairs (or synonym-gloss pairs) across 50 languages and then subject the MMTs (mBERT and XLM-R) to a lexical specialization procedure guided by a contrastive objective. We show that such massively multilingual lexical specialization brings substantial gains in two standard cross-lingual lexical tasks, bilingual lexicon induction and cross-lingual word similarity, as well as in cross-lingual sentence retrieval. Crucially, we observe gains for languages unseen in specialization, indicating that multilingual lexical specialization enables generalization to languages with no lexical constraints. In a series of subsequent controlled experiments, we show that the number of specialization constraints plays a much greater role than the set of languages from which they originate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google