Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning

要約

自己一貫性 (SC) は、思考連鎖推論に広く使用されているデコード戦略であり、さまざまな複数ステップの推論タスクにわたって大幅な向上を示しますが、事前設定されたサイズで複数のサンプリングを行うため、コストが高くなります。
そのバリエーションである適応型自己一貫性 (ASC) と早期停止自己一貫性 (ESC) は、一連のプリサンプルの事後分布に基づいてサンプル数を動的に調整し、パフォーマンスへの影響を最小限に抑えながら SC のコストを削減します。
。
ただし、どちらの方法も、質問の難易度に関する事前情報を利用しません。
多くの場合、1 回の試行で正確に回答できる簡単な質問に対して不必要にサンプリングが繰り返され、リソースが無駄になります。
この問題に取り組むために、事前と事後の両方の観点から難易度情報を活用して推論リソースを適応的に割り当て、SC のコストをさらに削減する難易度適応型自己一貫性 (DSC) を提案します。
DSC の有効性を実証するために、私たちは推論タスクの 3 つの一般的なカテゴリ (算術推論、常識推論、記号推論) について 6 つのベンチマークで広範な実験を実施しました。
実証結果は、DSC が、同等のパフォーマンスを達成しながら、コストの点で強力なベースラインの ASC および ESC を常に大幅に上回っていることを示しています。

要約(オリジナル)

Self-consistency (SC), a widely used decoding strategy for chain-of-thought reasoning, shows significant gains across various multi-step reasoning tasks but comes with a high cost due to multiple sampling with the preset size. Its variants, Adaptive self-consistency (ASC) and Early-stopping self-consistency (ESC), dynamically adjust the number of samples based on the posterior distribution of a set of pre-samples, reducing the cost of SC with minimal impact on performance. Both methods, however, do not exploit the prior information about question difficulty. It often results in unnecessary repeated sampling for easy questions that could be accurately answered with just one attempt, wasting resources. To tackle this problem, we propose Difficulty-Adaptive Self-Consistency (DSC), which leverages the difficulty information from both prior and posterior perspectives to adaptively allocate inference resources, further reducing the cost of SC. To demonstrate the effectiveness of DSC, we conduct extensive experiments on three popular categories of reasoning tasks: arithmetic, commonsense and symbolic reasoning on six benchmarks. The empirical results show that DSC consistently surpasses the strong baseline ASC and ESC in terms of costs by a significant margin, while attaining comparable performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google