A Survey of Knowledge Enhanced Pre-trained Language Models

要約

自己教師あり学習手法を介して大規模なテキスト コーパスでトレーニングされた事前トレーニング済み言語モデル (PLM) は、自然言語処理 (NLP) のさまざまなタスクで有望なパフォーマンスをもたらしました。
ただし、膨大なパラメータを持つ PLM は、膨大なトレーニング テキストから学習した豊富な知識を効果的に保有し、微調整段階で下流のタスクに利益をもたらすことができますが、外部知識の欠如による推論能力の低下など、依然としていくつかの制限があります。
これらの問題に対処するために、知識を PLM に組み込むことに研究が専念されてきました。
このホワイトペーパーでは、知識強化事前トレーニング言語モデル (KE-PLM) の包括的なレビューを紹介し、この盛んな分野について明確な洞察を提供します。
NLP のこれら 2 つの主要なタスクを強調するために、自然言語理解 (NLU) と自然言語生成 (NLG) にそれぞれ適切な分類法を導入します。
NLU では、知識の種類を言語知識、テキスト知識、ナレッジ グラフ (KG)、ルール知識の 4 つのカテゴリに分類します。
NLG の KE-PLM は、KG ベースのメソッドと検索ベースのメソッドに分類されます。
最後に、KE-PLM の将来の有望な方向性をいくつか指摘します。

要約(オリジナル)

Pre-trained Language Models (PLMs) which are trained on large text corpus via self-supervised learning method, have yielded promising performance on various tasks in Natural Language Processing (NLP). However, though PLMs with huge parameters can effectively possess rich knowledge learned from massive training text and benefit downstream tasks at the fine-tuning stage, they still have some limitations such as poor reasoning ability due to the lack of external knowledge. Research has been dedicated to incorporating knowledge into PLMs to tackle these issues. In this paper, we present a comprehensive review of Knowledge Enhanced Pre-trained Language Models (KE-PLMs) to provide a clear insight into this thriving field. We introduce appropriate taxonomies respectively for Natural Language Understanding (NLU) and Natural Language Generation (NLG) to highlight these two main tasks of NLP. For NLU, we divide the types of knowledge into four categories: linguistic knowledge, text knowledge, knowledge graph (KG), and rule knowledge. The KE-PLMs for NLG are categorized into KG-based and retrieval-based methods. Finally, we point out some promising future directions of KE-PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google