Dynamic Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling

要約

自己一貫性 (SC) は、大規模言語モデル (LLM) を複数回サンプリングし、最も頻繁に使用される解を出力することにより、LLM における幻覚を軽減するために広く使用されている方法です。
SC には利点があるにもかかわらず、生成されるサンプルの数に比例してかなりの計算コストがかかります。
Early Stopping Self Consistency や Adaptive Consistency などのこれまでの早期停止アプローチは、出力の一貫性を考慮することでこれらのコストを削減することを目的としていましたが、推論パス (RP) 自体の品質は分析されていません。
この問題に対処するために、出力された回答と思考連鎖 (CoT) プロンプトからの RP の両方を考慮してサンプル生成数を動的に調整する革新的な早期停止フレームワークである Reasoning-Aware Self-Consistency (RASC) を提案します。
RASC は、生成されたサンプルに信頼スコアを順番に割り当て、特定の基準が満たされたときに停止し、加重多数決を採用してサンプルの使用を最適化し、回答の信頼性を高めます。
私たちは、さまざまな QA データセットにわたって複数の LLM を使用して RASC を包括的にテストします。
RASC は既存の方法を上回り、元の SC と比較して精度を最大 5% 維持または向上させながら、サンプル使用量を平均 80% 大幅に削減します。

要約(オリジナル)

Self-Consistency (SC) is a widely used method to mitigate hallucinations in Large Language Models (LLMs) by sampling the LLM multiple times and outputting the most frequent solution. Despite its benefits, SC results in significant computational costs proportional to the number of samples generated. Previous early-stopping approaches, such as Early Stopping Self Consistency and Adaptive Consistency, have aimed to reduce these costs by considering output consistency, but they do not analyze the quality of the reasoning paths (RPs) themselves. To address this issue, we propose Reasoning-Aware Self-Consistency (RASC), an innovative early-stopping framework that dynamically adjusts the number of sample generations by considering both the output answer and the RPs from Chain of Thought (CoT) prompting. RASC assigns confidence scores sequentially to the generated samples, stops when certain criteria are met, and then employs weighted majority voting to optimize sample usage and enhance answer reliability. We comprehensively test RASC with multiple LLMs across varied QA datasets. RASC outperformed existing methods and significantly reduces sample usage by an average of 80% while maintaining or improving accuracy up to 5% compared to the original SC

arxiv情報

提供元, 利用サービス

arxiv.jp, Google