Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives

要約

ラージ・ランゲージ・モデル（LLM）のリフレクション能力は注目されている。リフレクションやセルフリファインといった事後的なプロンプティング戦略は、自己評価や外部からのフィードバックに基づいてLLMの応答を洗練させる。しかし、最近の研究では、外部からのフィードバックがなければ、LLMの内在的な内省は不安定であることが示されている。我々の調査により、重要なボトルネックは自己評価フィードバックの質であることが明らかになった。LLMは自己評価時に過信や高いランダム性を示すことが多く、頑固で一貫性のないフィードバックを提供するため、内省がうまくいかないのである。このような状況を改善するために、我々はセルフコントラストを提唱する：これは、要求に合わせた多様な解決視点を適応的に探索し、その違いを対比し、これらの不一致をチェックリストにまとめ、再調査や不一致の解消に利用できる。我々の方法は、LLMに多様な視点を与え、頑固なバイアスを緩和する。さらに、その食い違いは、LLMが見落としがちな潜在的な誤りや内在する不確実性を示している。これらを反省することで、より正確で安定した反省を触媒することができる。様々なLLMを用いた一連の推論と翻訳タスクで実施された実験は、我々の戦略の有効性と一般性を強調するのに役立つ。

要約(オリジナル)

The reflection capacity of Large Language Model (LLM) has garnered extensive attention. A post-hoc prompting strategy, e.g., reflexion and self-refine, refines LLM’s response based on self-evaluated or external feedback. However, recent research indicates without external feedback, LLM’s intrinsic reflection is unstable. Our investigation unveils that the key bottleneck is the quality of the self-evaluated feedback. We find LLMs often exhibit overconfidence or high randomness when self-evaluate, offering stubborn or inconsistent feedback, which causes poor reflection. To remedy this, we advocate Self-Contrast: It adaptively explores diverse solving perspectives tailored to the request, contrasts the differences, and summarizes these discrepancies into a checklist which could be used to re-examine and eliminate discrepancies. Our method endows LLM with diverse perspectives to alleviate stubborn biases. Moreover, their discrepancies indicate potential errors or inherent uncertainties that LLM often overlooks. Reflecting upon these can catalyze more accurate and stable reflection. Experiments conducted on a series of reasoning and translation tasks with different LLMs serve to underscore the effectiveness and generality of our strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL