Plug-and-Play Knowledge Injection for Pre-trained Language Models

要約

外部知識を注入することで、事前に訓練された言語モデル（PLM）の性能を、下流のさまざまな自然言語処理タスクで向上させることができる。しかし、新しい知識注入手法や知識ベースを下流のタスクに導入するためには、大規模な再トレーニングが必要となる。本研究では、既存の下流モデルを再利用することで、知識注入の柔軟性と効率を向上させる方法を初めて研究する。この目的のために、知識プラグインによって、知識ベースが凍結された既存の下流モデルに注入される、新しいパラダイムプラグアンドプレイ知識注入を探求する。これに対応して、プラグアンドプレイ知識注入法マップチューニングを提案する。マップチューニングは、モデルパラメータを凍結したまま、知識埋め込み値のマッピングを学習し、モデル入力をマッピングされた埋め込み値で豊かにする。3つの知識駆動型自然言語処理タスクに対する実験結果から、既存のインジェクション手法は新しいパラダイムに適していないことが示される。さらに、凍結されたダウンストリームモデルは、ドメイン知識の異なるマッピングネットワークを持つ異なるドメインにうまく適応できることを示す。我々のコードとモデルはhttps://github.com/THUNLP/Knowledge-Plugin。

要約(オリジナル)

Injecting external knowledge can improve the performance of pre-trained language models (PLMs) on various downstream NLP tasks. However, massive retraining is required to deploy new knowledge injection methods or knowledge bases for downstream tasks. In this work, we are the first to study how to improve the flexibility and efficiency of knowledge injection by reusing existing downstream models. To this end, we explore a new paradigm plug-and-play knowledge injection, where knowledge bases are injected into frozen existing downstream models by a knowledge plugin. Correspondingly, we propose a plug-and-play injection method map-tuning, which trains a mapping of knowledge embeddings to enrich model inputs with mapped embeddings while keeping model parameters frozen. Experimental results on three knowledge-driven NLP tasks show that existing injection methods are not suitable for the new paradigm, while map-tuning effectively improves the performance of downstream models. Moreover, we show that a frozen downstream model can be well adapted to different domains with different mapping networks of domain knowledge. Our code and models are available at https://github.com/THUNLP/Knowledge-Plugin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL