SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses

要約

LLM は以前の出力を一貫して改善して、より良い結果を得ることができますか?
これが真実であるためには、LLM は初期応答を生成するよりも、以前に生成された代替案を区別する能力に優れている必要があります。
この仮説の妥当性を実際に検証します。
まず、あらゆるタスクにおけるあらゆるモデルの生成能力と識別能力を比較できるようにする統一フレームワークを定式化します。
いくつかのオープンソースおよび産業用 LLM の結果として得られた実験分析では、モデルは初期応答を生成することよりも、以前に生成された代替案を区別する点で確実に優れているわけではないことがわかりました。
この発見は、LLM が自らの判断によってのみパフォーマンスを向上できるという概念に疑問を投げかけます。

要約(オリジナル)

Can LLMs consistently improve their previous outputs for better results? For this to be true, LLMs would need to be better at discriminating among previously-generated alternatives, than generating initial responses. We explore the validity of this hypothesis in practice. We first formulate a unified framework that allows us to compare the generative and discriminative capability of any model on any task. In our resulting experimental analysis of several open-source and industrial LLMs, we observe that models are not reliably better at discriminating among previously-generated alternatives than generating initial responses. This finding challenges the notion that LLMs may be able to enhance their performance only through their own judgment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google