Internal and External Knowledge Interactive Refinement Framework for Knowledge-Intensive Question Answering

要約

最近の研究では、LLM で生成されたコンテンツの制限と潜在的な事実誤認に対処するために、外部の知識を LLM に統合することが試みられています。
しかし、大量の外部知識から正しい知識をどのように取り出すかが課題となります。
この目的を達成するために、LLM は事前トレーニングされたパラメーターに豊富な知識をすでにエンコードしており、これらの内部知識を利用することで、知識集約型タスクに適用する際の外部知識の取得が向上することを経験的に観察しています。
この論文では、IEKR と呼ばれる新しい内部および外部の知識の対話型洗練パラダイムを提案します。これは、LLM の内部知識を利用して、外部知識ベースから関連する知識を取得するのに役立ち、また、生成された内部知識の幻覚を洗練するために外部知識を活用するのにも役立ちます。
「Tell me something about」のようなプロンプトを LLM に追加するだけで、関連する形式的知識を確認し、クエリとともにそれらを外部検索用の取得ツールに挿入しようとします。
外部の知識は、回答のための LLM の入力への内部の知識を補完するために利用されます。
私たちは、さまざまな LLM とドメインを使用した知識集約的な質問応答タスクで 3 つのベンチマーク データセットで実験を実施し、新しい最先端を実現しました。
さらなる分析により、私たちのアプローチにおけるさまざまなモジュールの有効性が示されています。

要約(オリジナル)

Recent works have attempted to integrate external knowledge into LLMs to address the limitations and potential factual errors in LLM-generated content. However, how to retrieve the correct knowledge from the large amount of external knowledge imposes a challenge. To this end, we empirically observe that LLMs have already encoded rich knowledge in their pretrained parameters and utilizing these internal knowledge improves the retrieval of external knowledge when applying them to knowledge-intensive tasks. In this paper, we propose a new internal and external knowledge interactive refinement paradigm dubbed IEKR to utilize internal knowledge in LLM to help retrieve relevant knowledge from the external knowledge base, as well as exploit the external knowledge to refine the hallucination of generated internal knowledge. By simply adding a prompt like ‘Tell me something about’ to the LLMs, we try to review related explicit knowledge and insert them with the query into the retriever for external retrieval. The external knowledge is utilized to complement the internal knowledge into input of LLM for answers. We conduct experiments on 3 benchmark datasets in knowledge-intensive question answering task with different LLMs and domains, achieving the new state-of-the-art. Further analysis shows the effectiveness of different modules in our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google