Crosslingual Transfer Learning for Low-Resource Languages Based on Multilingual Colexification Graphs

要約

比較言語学では、併置とは、2 つ以上の異なる意味を伝える語彙形式の現象を指します。
併置パターンに関する既存の研究は、注釈付きの単語リストに依存しており、NLP の拡張性と有用性が制限されています。
対照的に、私たちは、1,335 言語にわたる 2,000 を超える概念の併置パターンを、注釈のない対訳コーパスから直接特定します。
次に、共存パターンから多言語グラフを構築するためのシンプルで効果的な方法、ColexNet と ColexNet+ を提案します。
ColexNet のノードは概念であり、そのエッジは共存です。
ColexNet+ では、概念ノードは中間ノードを介してさらにリンクされ、それぞれが 1,334 言語のいずれかで ngram を表します。
$\overrightarrow{\mbox{ColexNet+}}$ をトレーニングするために ColexNet+ を使用します。これは転移学習に適した高品質の多言語埋め込みです。
私たちの実験では、まず、ColexNet が言語間共用データセットである CLICS で高い再現率を達成していることを示します。
次に、ラウンドトリップ翻訳、文検索、文分類に関して $\overrightarrow{\mbox{ColexNet+}}$ を評価し、埋め込みがいくつかの転移学習ベースラインを超えていることを示します。
これは、多言語 NLP の情報源として併置を使用する利点を示しています。

要約(オリジナル)

In comparative linguistics, colexification refers to the phenomenon of a lexical form conveying two or more distinct meanings. Existing work on colexification patterns relies on annotated word lists, limiting scalability and usefulness in NLP. In contrast, we identify colexification patterns of more than 2,000 concepts across 1,335 languages directly from an unannotated parallel corpus. We then propose simple and effective methods to build multilingual graphs from the colexification patterns: ColexNet and ColexNet+. ColexNet’s nodes are concepts and its edges are colexifications. In ColexNet+, concept nodes are additionally linked through intermediate nodes, each representing an ngram in one of 1,334 languages. We use ColexNet+ to train $\overrightarrow{\mbox{ColexNet+}}$, high-quality multilingual embeddings that are well-suited for transfer learning. In our experiments, we first show that ColexNet achieves high recall on CLICS, a dataset of crosslingual colexifications. We then evaluate $\overrightarrow{\mbox{ColexNet+}}$ on roundtrip translation, sentence retrieval and sentence classification and show that our embeddings surpass several transfer learning baselines. This demonstrates the benefits of using colexification as a source of information in multilingual NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google