Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives

要約

Large Language Model (LLM) の反映能力は幅広い注目を集めています。
事後的なプロンプト戦略、たとえば反省や自己調整により、自己評価または外部フィードバックに基づいて LLM の応答が調整されます。
しかし、最近の研究では、外部フィードバックがなければ、LLM の固有反射は不安定であることが示されています。
私たちの調査により、主なボトルネックは自己評価フィードバックの質であることが明らかになりました。
LLM は自己評価時に自信過剰やランダム性の高さを示し、頑固なフィードバックや一貫性のないフィードバックを提供し、不十分な反省を引き起こすことがよくあります。
これを改善するために、私たちはセルフコントラストを提唱します。これは、要求に合わせたさまざまな解決の視点を適応的に探索し、相違点を対比し、これらの矛盾を再検査して矛盾を除去するために使用できるチェックリストに要約します。
私たちの手法は、LLM に多様な視点を与え、頑固な偏見を軽減します。
さらに、それらの不一致は、LLM がしばしば見落とす潜在的なエラーまたは固有の不確実性を示しています。
これらを反映すると、より正確で安定した反映が可能になります。
さまざまな LLM を使用して一連の推論および翻訳タスクを実行した実験は、私たちの戦略の有効性と一般性を強調するのに役立ちます。

要約(オリジナル)

The reflection capacity of Large Language Model (LLM) has garnered extensive attention. A post-hoc prompting strategy, e.g., reflexion and self-refine, refines LLM’s response based on self-evaluated or external feedback. However, recent research indicates without external feedback, LLM’s intrinsic reflection is unstable. Our investigation unveils that the key bottleneck is the quality of the self-evaluated feedback. We find LLMs often exhibit overconfidence or high randomness when self-evaluate, offering stubborn or inconsistent feedback, which causes poor reflection. To remedy this, we advocate Self-Contrast: It adaptively explores diverse solving perspectives tailored to the request, contrasts the differences, and summarizes these discrepancies into a checklist which could be used to re-examine and eliminate discrepancies. Our method endows LLM with diverse perspectives to alleviate stubborn biases. Moreover, their discrepancies indicate potential errors or inherent uncertainties that LLM often overlooks. Reflecting upon these can catalyze more accurate and stable reflection. Experiments conducted on a series of reasoning and translation tasks with different LLMs serve to underscore the effectiveness and generality of our strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google