Don’t Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration

要約

大規模言語モデル (LLM) の知識を拡大する努力にもかかわらず、知識の進化する性質を考慮すると、知識のギャップ (LLM の情報が欠落している、または古い情報) が常に残る可能性があります。
この研究では、LLM の知識ギャップを特定し、知識ギャップが存在する場合には質問への回答を控えるアプローチを研究します。
まず、既存のアプローチを微調整/プロンプトを通じてモデルの校正または適応に適応させ、信頼性の低い出力の生成を回避する能力を分析します。
内省の失敗と保持されたセットへの過度の依存を動機として、モデルのコラボレーション、つまり、LLM が他の LLM の知識ギャップを協力的または競合的に調査することに基づく 2 つの新しいアプローチを提案します。
多様な知識領域を特徴とする 4 つの QA タスクで 3 つの LLM を使用した広範な実験により、LLM の知識ギャップを明らかにするための協力的アプローチと競合的アプローチの両方が、最も強力なベースラインに対して棄権精度で最大 19.3% の向上を達成することが実証されました。
さらなる分析により、私たちが提案したメカニズムは、検索拡張における失敗ケースを特定し、マルチホップ推論における知識ギャップを正確に特定するのに役立つ可能性があることが明らかになりました。

要約(オリジナル)

Despite efforts to expand the knowledge of large language models (LLMs), knowledge gaps — missing or outdated information in LLMs — might always persist given the evolving nature of knowledge. In this work, we study approaches to identify LLM knowledge gaps and abstain from answering questions when knowledge gaps are present. We first adapt existing approaches to model calibration or adaptation through fine-tuning/prompting and analyze their ability to abstain from generating low-confidence outputs. Motivated by their failures in self-reflection and over-reliance on held-out sets, we propose two novel approaches that are based on model collaboration, i.e., LLMs probing other LLMs for knowledge gaps, either cooperatively or competitively. Extensive experiments with three LLMs on four QA tasks featuring diverse knowledge domains demonstrate that both cooperative and competitive approaches to unveiling LLM knowledge gaps achieve up to 19.3% improvements on abstain accuracy against the strongest baseline. Further analysis reveals that our proposed mechanisms could help identify failure cases in retrieval augmentation and pinpoint knowledge gaps in multi-hop reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google