Knowledge Rumination for Pre-trained Language Models

要約

これまでの研究で、バニラで事前学習された言語モデル（PLM）だけでは、知識集約型の自然言語処理タスクに対応できないことが明らかになっている。そこで、PLMに外部知識を統合する試みがいくつか行われている。このため、PLMに外部知識を組み込むことが試みられているが、その結果、PLMは事前学習されたパラメータに豊富な知識を内包しているにもかかわらず、知識集約型のタスクに適用すると、その知識を十分に活用できないことが経験的に確認されている。本論文では、知識ルミネーションと呼ばれる新しいパラダイムを提案し、事前学習された言語モデルが、外部コーパスから検索することなく、関連する潜在的な知識を利用できるようにする。PLMに「私が知っている限りでは」のようなプロンプトを追加するだけで、関連する潜在的な知識を見直し、知識統合のためにモデルに戻すことを試みる。提案する知識反芻を、RoBERTa, DeBERTa, GPT-3, OPTなど様々な言語モデルに適用する。6つのコモンセンス推論タスクとGLUEベンチマークに対する実験結果は、我々の提案するアプローチの有効性を示し、さらに、PLMに格納された知識をより良く利用することで、下流の性能を向上させることができることを証明する。コードは https://github.com/zjunlp/knowledge-rumination で公開される予定です。

要約(オリジナル)

Previous studies have revealed that vanilla pre-trained language models (PLMs) lack the capacity to handle knowledge-intensive NLP tasks alone; thus, several works have attempted to integrate external knowledge into PLMs. However, despite the promising outcome, we empirically observe that PLMs may have already encoded rich knowledge in their pre-trained parameters but fails to fully utilize them when applying to knowledge-intensive tasks. In this paper, we propose a new paradigm dubbed Knowledge Rumination to help the pre-trained language model utilize those related latent knowledge without retrieving them from the external corpus. By simply adding a prompt like “As far as I know” to the PLMs, we try to review related latent knowledge and inject them back to the model for knowledge consolidation. We apply the proposed knowledge rumination to various language models, including RoBERTa, DeBERTa, GPT-3 and OPT. Experimental results on six commonsense reasoning tasks and GLUE benchmarks demonstrate the effectiveness of our proposed approach, which further proves that the knowledge stored in PLMs can be better exploited to enhance the downstream performance. Code will be available in https://github.com/zjunlp/knowledge-rumination.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL