Are Retrials All You Need? Enhancing Large Language Model Reasoning Without Verbalized Feedback

要約

大規模な言語モデル（LLMS）の最近の進歩により、汎用の自律剤の開発が触媒され、さまざまなドメインにわたる複雑な推論タスクの顕著なパフォーマンスが示されています。
このサージは、迅速な推論フレームワークの多数の進化に拍車をかけています。
最近の焦点は、自己評価と言葉によるフィードバックを通じて出力を改良する反復推論戦略にありました。
ただし、これらの戦略には、モデルが間違いを認識して修正できるようにするために、追加の計算の複雑さが必要であり、コストが大幅に増加します。
この作業では、LLMSが誤った回答を特定して問題解決の試みを再試行できるようにすることにより、恥ずかしくてシンプルでありながら強力なメカニズムである「フィードバックなしでは、フィードバックなしでの再試行」の概念を紹介します。
従来の反復改良方法とは異なり、私たちの方法では、明示的な自己反省または言葉によるフィードバックを必要とせず、改良プロセスを簡素化します。
私たちの調査結果は、より単純な再試行ベースのアプローチが、より洗練された推論フレームワークよりも優れていることが多く、複雑な方法の利点が常に計算コストを正当化するとは限らないことを示唆していることを示しています。
より複雑な推論戦略が本質的により良いパフォーマンスにつながるという一般的な仮定に挑戦することにより、私たちの仕事は、よりシンプルでより効率的なアプローチが最適な結果をどのように達成できるかについての新しい洞察を提供します。
それで、あなたが必要とするすべてのレトリアルはありますか？

要約(オリジナル)

Recent advancements in large language models (LLMs) have catalyzed the development of general-purpose autonomous agents, demonstrating remarkable performance in complex reasoning tasks across various domains. This surge has spurred the evolution of a plethora of prompt-based reasoning frameworks. A recent focus has been on iterative reasoning strategies that refine outputs through self-evaluation and verbalized feedback. However, these strategies require additional computational complexity to enable models to recognize and correct their mistakes, leading to a significant increase in their cost. In this work, we introduce the concept of “retrials without feedback”, an embarrassingly simple yet powerful mechanism for enhancing reasoning frameworks by allowing LLMs to retry problem-solving attempts upon identifying incorrect answers. Unlike conventional iterative refinement methods, our method does not require explicit self-reflection or verbalized feedback, simplifying the refinement process. Our findings indicate that simpler retrial-based approaches often outperform more sophisticated reasoning frameworks, suggesting that the benefits of complex methods may not always justify their computational costs. By challenging the prevailing assumption that more intricate reasoning strategies inherently lead to better performance, our work offers new insights into how simpler, more efficient approaches can achieve optimal results. So, are retrials all you need?

arxiv情報

提供元, 利用サービス

arxiv.jp, Google