Know the Unknown: An Uncertainty-Sensitive Method for LLM Instruction Tuning

要約

大規模言語モデル (LLM) は、さまざまなタスクにわたって優れた機能を実証してきましたが、依然として幻覚などの課題に直面しています。
幻覚の潜在的な理由の 1 つは、関連する知識や背景が欠如していることです。
したがって、この問題を軽減する有望な解決策には、質問が知識領域または提供されたコンテキストの外にある場合に「わかりません」と応答するように LLM に指示することが含まれます。
しかし、この研究では、主に特定の回答を促すように設計された既存の指示データセットが原因で、LLM が自分の知識の欠如を認めるのに苦労していることが観察されました。
大規模な言語モデルの知識の境界を認識する能力を向上させるために、不確実性に敏感なチューニングと呼ばれる新しいアプローチを提案します。
この方法には、不確実性の認識とプロンプトに敏感な活性化のために設計された 2 段階のトレーニングが含まれます。
最初の段階では、未知の質問を拒否するように LLM を誘導します。
第 2 段階では、設計された因果関係のある指示を組み込むことで、QA タスクのパフォーマンスの低下を回復します。
この方法を活用することで、不確実性のある領域を特定するモデルの能力を強化することを目指しています。
実験結果は、私たちが提案した不確実性に敏感な調整方法が Llama2-chat-7B モデルのパフォーマンスを大幅に向上させることを示しています。
具体的には、元のモデルと比較して、知識ギャップを含む質問の処理において 34.7% の大幅な改善を達成しました。
さらに、私たちのアプローチは GPT-4 よりも優れており、全体的なパフォーマンスが 9.4% 向上しています。
モデルとコードは GitHub でオープンソース化されています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities across various tasks but still face challenges such as hallucinations. One potential reason for hallucinations is the lack of relevant knowledge or context. Thus, a promising solution to mitigate this issue involves instructing LLMs to respond with ‘I do not know’ when a question falls outside their knowledge domain or the provided context. However, in this work, we observed that LLMs struggle to admit their lack of knowledge, primarily due to existing instruction datasets designed to encourage specific answers. To improve large language models’ capability to recognize the boundaries of their knowledge, we propose a novel approach called uncertainty-sensitive tuning. This method involves two-stage training designed for uncertainty recognition and prompt-sensitive activation. In the first stage, we guide the LLM to reject unknown questions. In the second stage, we recover the decreased performance in QA tasks by incorporating designed causal instructions. By leveraging this method, we aim to enhance the model’s ability to identify areas of uncertainty. The experimental results demonstrate that our proposed uncertainty-sensitive tuning method significantly improves the performance of the Llama2-chat-7B model. Specifically, it achieves a substantial 34.7% improvement in handling questions involving knowledge gaps compared to the original model. Moreover, our approach outperforms GPT-4, exhibiting a 9.4% increase in overall performance. We open-source the model and code on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google