Injecting Wiktionary to improve token-level contextual representations using contrastive learning

要約

静的な単語の埋め込みはコンテキストを意識しませんが、語彙意味論タスクの場合、コンテキストはむしろコンテキストの単語の埋め込みに存在しすぎ、同じ意味の出現のベクトルがあまりにも異なります (Ethayarajh、2019)。
自動的に自己拡張された例を活用して、対照学習を使用した事前トレーニング済み言語モデル (PLM) の微調整が提案されました (Liu et al., 2021b)。
この論文では、英語の Wiktionary を使用して、代替監督情報源として辞書を挿入する方法を調査します。
また、次元削減が結果として得られる文脈上の単語の埋め込みにどのような影響を与えるかをテストします。
Word-In-Context (WiC) タスクに対するアプローチを、教師なし設定 (トレーニング セットを使用しない) で評価します。
オリジナルの WiC テスト セットで新しい SoTA 結果を達成しました。
また、2 つの新しい WiC テスト セットを提案し、微調整方法が大幅な改善を達成することを示します。
また、意味論的フレーム誘導タスクについても、ささやかなものではあるが改善が見られました。
関連研究との比較を可能にするために英語で実験しましたが、私たちの方法は大規模なウィクショナリーが存在する多くの言語に適応できます。

要約(オリジナル)

While static word embeddings are blind to context, for lexical semantics tasks context is rather too present in contextual word embeddings, vectors of same-meaning occurrences being too different (Ethayarajh, 2019). Fine-tuning pre-trained language models (PLMs) using contrastive learning was proposed, leveraging automatically self-augmented examples (Liu et al., 2021b). In this paper, we investigate how to inject a lexicon as an alternative source of supervision, using the English Wiktionary. We also test how dimensionality reduction impacts the resulting contextual word embeddings. We evaluate our approach on the Word-In-Context (WiC) task, in the unsupervised setting (not using the training set). We achieve new SoTA result on the original WiC test set. We also propose two new WiC test sets for which we show that our fine-tuning method achieves substantial improvements. We also observe improvements, although modest, for the semantic frame induction task. Although we experimented on English to allow comparison with related work, our method is adaptable to the many languages for which large Wiktionaries exist.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google