Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models

要約

棄権能力 (AA) は、大規模言語モデル (LLM) の信頼性の重要な側面であり、パフォーマンスを損なうことなく、不確実な場合や決定的な答えが欠如している場合に応答を保留する LLM の能力を指します。
これまでの研究では AA の改善が試みられてきましたが、標準化された評価方法が不足しており、トークンの予測確率が利用できないブラックボックス モデルには依然として適していません。
このため、特に最先端のクローズドソース商用 LLM の場合、比較分析が困難になります。
この論文では、ブラックボックス評価アプローチと、さまざまな質問タイプ (回答可能な質問と回答できない質問)、ドメイン (よく代表されるものと過小評価されるもの)、およびタスクにわたって AA を厳密に評価するために作成された新しいデータセット Abstain-QA を導入することで、このギャップを埋めます。
タイプ（事実中心と推論）。
また、評価のための構造化された正確なアプローチを提供することにより、AA を評価するための基礎として機能する新しい混同行列である「回答可能-回答不能混同行列」(AUCM) を提案します。
最後に、厳密なプロンプティング、言葉による信頼の閾値設定、および思考の連鎖 (CoT) という 3 つのプロンプト戦略が AA の改善に与える影響を調査します。
私たちの結果は、GPT-4、Mixtral 8x22b のような強力なモデルでも棄権すると困難に遭遇することを示しています。
ただし、厳密なプロンプトや CoT などの戦略的アプローチにより、この機能を強化できます。

要約(オリジナル)

Abstention Ability (AA) is a critical aspect of Large Language Model (LLM) reliability, referring to an LLM’s capability to withhold responses when uncertain or lacking a definitive answer, without compromising performance. Although previous studies have attempted to improve AA, they lack a standardised evaluation method and remain unsuitable for black-box models where token prediction probabilities are inaccessible. This makes comparative analysis challenging, especially for state-of-the-art closed-source commercial LLMs. This paper bridges this gap by introducing a black-box evaluation approach and a new dataset, Abstain-QA, crafted to rigorously assess AA across varied question types (answerable and unanswerable), domains (well-represented and under-represented), and task types (fact centric and reasoning). We also propose a new confusion matrix, the ”Answerable-Unanswerable Confusion Matrix” (AUCM) which serves as the basis for evaluating AA, by offering a structured and precise approach for assessment. Finally, we explore the impact of three prompting strategies-Strict Prompting, Verbal Confidence Thresholding, and Chain-of-Thought (CoT)-on improving AA. Our results indicate that even powerful models like GPT-4, Mixtral 8x22b encounter difficulties with abstention; however, strategic approaches such as Strict prompting and CoT can enhance this capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google