Self-consistency for open-ended generations

要約

大規模言語モデル (LLM) では、サンプリングされた出力の品質にかなりのばらつきが見られる場合があります。
サンプリングされたセットから最適な世代を再ランキングして選択することは、世代の品質を大幅に向上させる一般的な方法です。
この論文では、LLM 世代を再ランク付けするための新しいアプローチを紹介します。
追加の推論や特殊なリランカーのトレーニングを必要とする他の手法とは異なり、私たちのアプローチは、計算オーバーヘッドが最小限で世代間のペアごとの統計を簡単に計算できることに依存しています。
私たちは、自己無矛盾性の拡張として私たちのアプローチを形式化できることを示し、理論的およびシミュレーションを通じてそのフレームワークでのパフォーマンスを分析します。
コード生成タスクに最適な $k$ 生成を選択するための大幅な改善と、自動形式化および要約のタスクに最適な生成に関する強力な改善を示します。
私たちのアプローチは LLM へのブラックボックス アクセスのみを前提としていますが、トークン確率への追加アクセスによりパフォーマンスがさらに向上する可能性があることを示します。

要約(オリジナル)

Large Language Models (LLMs) can exhibit considerable variation in the quality of their sampled outputs. Reranking and selecting the best generation from the sampled set is a popular way of obtaining strong gains in generation quality. In this paper, we present a novel approach for reranking LLM generations. Unlike other techniques that might involve additional inferences or training a specialized reranker, our approach relies on easy to compute pairwise statistics between the generations that have minimal compute overhead. We show that our approach can be formalized as an extension of self-consistency and analyze its performance in that framework, theoretically as well as via simulations. We show strong improvements for selecting the best $k$ generations for code generation tasks as well as robust improvements for best generation for the tasks of autoformalization, and summarization. While our approach only assumes black-box access to LLMs, we show that additional access to token probabilities can improve performance even further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google