Let’s Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs

要約

大規模言語モデル (LLM) からの出力の正確性を向上させるための一般的なアプローチは、自己一貫性です。つまり、LLM を複数回ポーリングし、最も頻繁に使用される解決策を出力します。
既存の自己一貫性技術では、質問ごとに常に一定数のサンプルが生成されますが、より良いアプローチは、これまでに生成されたサンプルの一致量に基づいて、利用可能な予算を不均一に分配することです。
これに応えて、軽量の停止基準を使用して質問ごとのサンプル数を動的に調整する、コスト効率が高く、モデルに依存しない手法である Adaptive-Consistency を導入します。
17 の推論データセットとコード生成データセット、および 3 つの LLM に関する実験では、Adaptive-Consistency がサンプル予算を最大 7.9 倍削減し、平均精度の低下は 0.1% 未満であることが実証されました。
コードとデータは https://www.sample-step-by-step.info で入手できます。

要約(オリジナル)

A popular approach for improving the correctness of output from large language models (LLMs) is Self-Consistency – poll the LLM multiple times and output the most frequent solution. Existing Self-Consistency techniques always generate a constant number of samples per question, where a better approach will be to non-uniformly distribute the available budget based on the amount of agreement in the samples generated so far. In response, we introduce Adaptive-Consistency, a cost-efficient, model-agnostic technique that dynamically adjusts the number of samples per question using a lightweight stopping criterion. Our experiments over 17 reasoning and code generation datasets and three LLMs demonstrate that Adaptive-Consistency reduces sample budget by up to 7.9 times with an average accuracy drop of less than 0.1%. Our code and data are available at https://www.sample-step-by-step.info

arxiv情報

提供元, 利用サービス

arxiv.jp, Google