Navigating Uncertainty: Optimizing API Dependency for Hallucination Reduction in Closed-Book Question Answering

要約

大規模言語モデル（LLM）は知識の蓄積と復元が可能であるが、それでも幻覚を見やすい。特に事実に基づいた質問に直面したとき、LLMは、真実で正しい答えを保証するために、パラメータに格納された知識に頼ることはできない。このようなモデルを、ウェブなどの外部の情報源で検索する機能で補強することは、情報を検索するための知識を基礎とする有望なアプローチである。しかし、大量の文書を検索することは、さらなる計算／時間コストをもたらす。最適な動作は、LLMが答えに自信がない場合にのみ外部リソースに問い合わせることである。本論文では、LLMが直接答えられるか、外部ツールに問い合わせる必要があるかを自己推定できる新しいLLMを提案する。本論文では、幻覚マスキングメカニズムを導入することで、教師ありのアプローチを検討する。さらに、少量のデータでモデルを訓練するために、パラメータ効率の良い微調整技術を活用することを提案する。我々のモデルは、既知のクエリの78.2%%の答えを直接提供し、未知のクエリの77.2%%の答えを検索する。この結果、APIは$62%しか利用されない。

要約(オリジナル)

While Large Language Models (LLM) are able to accumulate and restore knowledge, they are still prone to hallucination. Especially when faced with factual questions, LLM cannot only rely on knowledge stored in parameters to guarantee truthful and correct answers. Augmenting these models with the ability to search on external information sources, such as the web, is a promising approach to ground knowledge to retrieve information. However, searching in a large collection of documents introduces additional computational/time costs. An optimal behavior would be to query external resources only when the LLM is not confident about answers. In this paper, we propose a new LLM able to self-estimate if it is able to answer directly or needs to request an external tool. We investigate a supervised approach by introducing a hallucination masking mechanism in which labels are generated using a close book question-answering task. In addition, we propose to leverage parameter-efficient fine-tuning techniques to train our model on a small amount of data. Our model directly provides answers for $78.2\%$ of the known queries and opts to search for $77.2\%$ of the unknown ones. This results in the API being utilized only $62\%$ of the time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL