Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs

要約

ChatGPT や GPT-4 などの大規模言語モデル (LLM) は多用途であり、その創発性と汎用性によりさまざまなタスクを解決できます。
ただし、LLM にはタスクを実行するためのドメイン固有の知識が不足している場合があり、推論中に幻覚を引き起こす可能性もあります。
以前の一部の研究では、ドメイン固有の知識の欠如の問題を軽減することを目的として、外部知識ベースから取得した知識に基づいてグラフ ニューラル ネットワーク (GNN) などの追加モジュールをトレーニングしました。
ただし、追加のモジュールを組み込むと、1) 新しいドメインに遭遇したときに追加のモジュールを再トレーニングする必要があります。
2) は、LLM の優れた能力が検索に十分に活かされていないため、ボトルネックとなります。
この論文では、LLM が自身の強力な一般化可能性を利用して、外部の知識ベースから必須の知識を検索することを教える、ナレッジ ソルバー (KSL) と呼ばれるパラダイムを提案します。
具体的には、検索をマルチホップ決定シーケンスに変換するためのシンプルかつ効果的なプロンプトを設計します。これにより、LLM がゼロショット方式で知識を検索できるようになります。
さらに、KSL は完全な検索パスを提供できるため、LLM の推論プロセスの説明可能性が向上します。
CommonsenseQA、OpenbookQA、MedQA-USMLE の 3 つのデータセットで実験を行ったところ、私たちのアプローチにより LLM ベースラインのパフォーマンスが比較的大幅に向上することがわかりました。

要約(オリジナル)

Large language models (LLMs), such as ChatGPT and GPT-4, are versatile and can solve different tasks due to their emergent ability and generalizability. However, LLMs sometimes lack domain-specific knowledge to perform tasks, which would also cause hallucination during inference. In some previous works, additional modules like graph neural networks (GNNs) are trained on retrieved knowledge from external knowledge bases, aiming to mitigate the problem of lacking domain-specific knowledge. However, incorporating additional modules: 1) would need retraining additional modules when encountering novel domains; 2) would become a bottleneck since LLMs’ strong abilities are not fully utilized for retrieval. In this paper, we propose a paradigm, termed Knowledge Solver (KSL), to teach LLMs to search for essential knowledge from external knowledge bases by harnessing their own strong generalizability. Specifically, we design a simple yet effective prompt to transform retrieval into a multi-hop decision sequence, which empowers LLMs with searching knowledge ability in zero-shot manner. Additionally, KSL is able to provide complete retrieval paths and therefore increase explainability of LLMs’ reasoning processes. We conduct experiments on three datasets: CommonsenseQA, OpenbookQA, and MedQA-USMLE, and found that our approach improves LLM baseline performance by a relatively large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google