Distilling Monolingual and Crosslingual Word-in-Context Representations

要約

この研究では、単一言語設定と複数言語設定の両方で、事前にトレーニングされたマスクされた言語モデルから文脈内の単語の意味の表現を抽出する方法を提案します。
単語表現は、コンテキストを意識した語彙意味論と教師なし意味論的テキスト類似性 (STS) 推定の基礎となります。
既存のアプローチとは異なり、私たちの方法は人間による注釈付きコーパスや事前トレーニングされたモデルのパラメーターの更新を必要としません。
後者の機能は、既製の事前トレーニング済みモデルがさまざまなアプリケーション間で共通の資産である実用的なシナリオにとって魅力的です。
具体的には、私たちのメソッドは、自己注意を使用して、事前トレーニングされたモデルのさまざまな隠れ層の出力を組み合わせる方法を学習します。
オートエンコーダーベースのトレーニングには、自動生成されたコーパスのみが必要です。
提案されたアプローチのパフォーマンスを評価するために、さまざまなベンチマーク タスクを使用して広範な実験を実行しました。
単一言語タスクの結果により、私たちの表現は、文脈認識語彙意味論タスクについては以前の研究と比較して競争力のあるパフォーマンスを示し、STS 推定についてはそれを上回っていることが確認されました。
異言語タスクの結果から、提案された方法により、多言語の事前トレーニング済みモデルの異言語単語表現が大幅に改善されたことが明らかになりました。

要約(オリジナル)

In this study, we propose a method that distils representations of word meaning in context from a pre-trained masked language model in both monolingual and crosslingual settings. Word representations are the basis for context-aware lexical semantics and unsupervised semantic textual similarity (STS) estimation. Different from existing approaches, our method does not require human-annotated corpora nor updates of the parameters of the pre-trained model. The latter feature is appealing for practical scenarios where the off-the-shelf pre-trained model is a common asset among different applications. Specifically, our method learns to combine the outputs of different hidden layers of the pre-trained model using self-attention. Our auto-encoder based training only requires an automatically generated corpus. To evaluate the performance of the proposed approach, we performed extensive experiments using various benchmark tasks. The results on the monolingual tasks confirmed that our representations exhibited a competitive performance compared to that of the previous study for the context-aware lexical semantic tasks and outperformed it for STS estimation. The results of the crosslingual tasks revealed that the proposed method largely improved crosslingual word representations of multilingual pre-trained models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google