Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism

要約

大規模言語モデル (LLM) は、優れた言語理解および生成機能を実証しており、さまざまなドメインにわたる幅広い質問に答えることができます。
ただし、これらのモデルは完璧ではなく、多くの場合、エラーや誤った情報を含む応答が生成されます。
一般に幻覚と呼ばれるこれらの不正確さにより、LLM の信頼性が低くなり、多くのシナリオで使用できなくなることさえあります。
この論文では、特に質問応答の文脈において、LLM における幻覚の問題を軽減することに焦点を当てています。
すべての質問に答えようとするのではなく、エラーを避けるために難しい質問への回答を拒否するよう LLM に指示する拒否メカニズムを検討します。
次に、Learn to Refuse (L2R) と呼ばれるシンプルかつ効果的なソリューションを提案します。これには、LLM が対処が難しい質問を認識し、回答を拒否できるようにする拒否メカニズムが組み込まれています。
これを達成するために、私たちは構造化された知識ベースを利用して LLM の世界の理解をすべて表現し、追跡可能なゴールド ナレッジを提供できるようにします。
このナレッジ ベースは LLM とは別のもので、最初は空ですが、検証されたナレッジによって徐々に拡張されます。
LLM がそのドメイン外の質問に遭遇すると、システムはその知識範囲を認識し、その質問に独自に回答できるかどうかを判断します。
さらに、LLM の知識ベースを自動的かつ効率的に拡張する方法を紹介します。
定性的および定量的分析を通じて、私たちのアプローチがLLMの制御性と信頼性を強化することを実証します。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive language understanding and generation capabilities, enabling them to answer a wide range of questions across various domains. However, these models are not flawless and often produce responses that contain errors or misinformation. These inaccuracies, commonly referred to as hallucinations, render LLMs unreliable and even unusable in many scenarios. In this paper, our focus is on mitigating the issue of hallucination in LLMs, particularly in the context of question-answering. Instead of attempting to answer all questions, we explore a refusal mechanism that instructs LLMs to refuse to answer challenging questions in order to avoid errors. We then propose a simple yet effective solution called Learn to Refuse (L2R), which incorporates the refusal mechanism to enable LLMs to recognize and refuse to answer questions that they find difficult to address. To achieve this, we utilize a structured knowledge base to represent all the LLM’s understanding of the world, enabling it to provide traceable gold knowledge. This knowledge base is separate from the LLM and initially empty, and it is progressively expanded with validated knowledge. When an LLM encounters questions outside its domain, the system recognizes its knowledge scope and determines whether it can answer the question independently. Additionally, we introduce a method for automatically and efficiently expanding the knowledge base of LLMs. Through qualitative and quantitative analysis, we demonstrate that our approach enhances the controllability and reliability of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google