KB-Plugin: A Plug-and-play Framework for Large Language Models to Induce Programs over Low-resourced Knowledge Bases

要約

プログラム帰納法(PI)は、知識ベース(KB)を用いて大規模言語モデル(LLM)が複雑な知識を必要とする質問に答えるのを助けるための有望なパラダイムとなっている。それにもかかわらず、PIは通常、LLMに与えられたKBのスキーマを認識させるために、多数の並列質問-プログラムのペアに依存する。このため、我々は、LLMが任意の低資源KBに対してプログラムを誘導することを可能にするプラグアンドプレイフレームワークであるKB-Pluginを提案する。まず、KB-Pluginは、与えられたKBの詳細なスキーマ情報をプラグイン可能なモジュール、すなわちスキーマプラグインにエンコードするために、自己教師あり学習を採用する。第二に、KB-Pluginは、リッチリソースのKBからの豊富な注釈データを利用して、もう一つのプラグイン可能なモジュール、すなわちPIプラグインを学習する。このプラグインは、LLMが任意のKBのスキーマプラグインから質問に関連するスキーマ情報を抽出し、この情報を利用してこのKB上のプログラムを誘導するのを助けることができる。5つの異種KBQAデータセットで実験した結果、KB-PluginはSoTAのPI手法に比べて25$times$小さいバックボーンのLLMで、低資源KBに対してより良い、あるいは同等の性能を達成し、さらに教師あり手法の性能に近づく。我々のコードとデータはhttps://github.com/THU-KEG/KB-Plugin。

要約(オリジナル)

Program induction (PI) has become a promising paradigm for using knowledge bases (KBs) to help large language models (LLMs) answer complex knowledge-intensive questions. Nonetheless, PI typically relies on a large number of parallel question-program pairs to make the LLM aware of the schema of the given KB, and is thus challenging for many low-resourced KBs that lack annotated data. To this end, we propose KB-Plugin, a plug-and-play framework that enables LLMs to induce programs over any low-resourced KB. Firstly, KB-Plugin adopts self-supervised learning to encode the detailed schema information of a given KB into a pluggable module, namely schema plugin. Secondly, KB-Plugin utilizes abundant annotated data from a rich-resourced KB to train another pluggable module, namely PI plugin, which can help the LLM extract question-relevant schema information from the schema plugin of any KB and utilize this information to induce programs over this KB. Experiments on five heterogeneous KBQA datasets show that KB-Plugin achieves better or comparable performance with 25$\times$ smaller backbone LLM compared to SoTA PI methods for low-resourced KBs, and even approaches the performance of supervised methods. Our code and data are available at https://github.com/THU-KEG/KB-Plugin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL