Decouple knowledge from parameters for plug-and-play language modeling

要約

事前トレーニングされた言語モデル (PLM) は、さまざまな NLP タスクで目覚ましい結果をもたらしました。
成功の重要な要因の 1 つは、これらのモデルのパラメーターが事前トレーニング中にあらゆる種類の知識を暗黙的に学習することであることが明らかになりました。
ただし、知識をモデル パラメーターに暗黙的にエンコードすることには、2 つの根本的な欠点があります。
まず、モデルがトレーニングされると、知識は編集も拡張もできなくなります。これは、知識が常に進化しているという点で特に問題になります。
第 2 に、解釈可能性に欠けており、特定の問題に対して PLM がどのような知識を必要とするかを人間が理解することができません。
この論文では、微分可能なプラグイン メモリ (DPM) を備えた事前トレーニング モデルである PlugLM を紹介します。
重要な直感は、編集可能でスケーラブルなキー/値メモリを使用してモデル パラメーターからナレッジ ストレージを切り離し、DPM でのナレッジ検索によって説明可能な方法でナレッジを活用することです。
この設計の選択を正当化するために、次の 3 つの設定で評価を実施します。 (1) ドメイン適応。
PlugLM は、ドメイン内事前トレーニングなしで 4 つのドメイン全体で平均 3.95 の F1 改善を達成しました。
(2) 知識のアップデート。
PlugLM は、事前トレーニングが完了した後、トレーニングなしで新しい知識を吸収できます。
(3) タスク内での知識学習。
PlugLM は、知識を促すトレーニング サンプルを DPM に組み込むことでさらに改善できます。

要約(オリジナル)

Pre-trained language models(PLM) have made impressive results in various NLP tasks. It has been revealed that one of the key factors to their success is the parameters of these models implicitly learn all kinds of knowledge during pre-training. However, encoding knowledge implicitly in the model parameters has two fundamental drawbacks. First, the knowledge is neither editable nor scalable once the model is trained, which is especially problematic in that knowledge is consistently evolving. Second, it lacks interpretability and prevents humans from understanding which knowledge PLM requires for a certain problem. In this paper, we introduce PlugLM, a pre-training model with differentiable plug-in memory(DPM). The key intuition is to decouple the knowledge storage from model parameters with an editable and scalable key-value memory and leverage knowledge in an explainable manner by knowledge retrieval in the DPM. To justify this design choice, we conduct evaluations in three settings including: (1) domain adaptation. PlugLM obtains 3.95 F1 improvements across four domains on average without any in-domain pre-training. (2) knowledge update. PlugLM could absorb new knowledge in a training-free way after pre-training is done. (3) in-task knowledge learning. PlugLM could be further improved by incorporating training samples into DPM with knowledge prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google