Recursive Chain-of-Feedback Prevents Performance Degradation from Redundant Prompting

要約

大規模言語モデル(LLM)は、複雑な推論タスクに苦戦することが多く、解決に向けた論理的に正しいステップを構築することができない。このような挙動に対して、ユーザはより良い解答に到達することを期待して、LLMに繰り返しプロンプトを与えてみることが多い。本論文では、このような繰り返し行動とその効果を、新しい設定であるチェーン・オブ・フィードバック（CoF）を定義することによって研究する。この設定では、多段階の推論を必要とする質問を入力とする。回答があると、無意味なフィードバック（例えば「もう一回試行する」）を繰り返し促し、追加の試行を要求する。驚くべきことに、我々の予備的な結果では、無意味なフィードバックを繰り返すと徐々に回答の質が低下し、最終的には意図した結果からの乖離が大きくなることが示された。このような問題を軽減するために、我々は新しい方法、再帰的連鎖フィードバック（R-CoF）を提案する。コンピュータサイエンスにおける再帰の論理に従い、R-CoFはそれぞれの間違った推論ステップをより小さな個々の問題に分解することによって、最初に間違った回答を再帰的に修正する。我々の予備的な結果では、LLMが正しく回答できない問題の大部分は、論理的なプロセスを概説するサンプルデータがなくても、R-CoFを使用して回答できることが示されている。

要約(オリジナル)

Large Language Models (LLMs) frequently struggle with complex reasoning tasks, failing to construct logically sound steps towards the solution. In response to this behavior, users often try prompting the LLMs repeatedly in hopes of reaching a better response. This paper studies such repetitive behavior and its effect by defining a novel setting, Chain-of-Feedback (CoF). The setting takes questions that require multi-step reasoning as an input. Upon response, we repetitively prompt meaningless feedback (e.g. ‘make another attempt’) requesting additional trials. Surprisingly, our preliminary results show that repeated meaningless feedback gradually decreases the quality of the responses, eventually leading to a larger deviation from the intended outcome. To alleviate these troubles, we propose a novel method, Recursive Chain-of-Feedback (R-CoF). Following the logic of recursion in computer science, R-CoF recursively revises the initially incorrect response by breaking down each incorrect reasoning step into smaller individual problems. Our preliminary results show that majority of questions that LLMs fail to respond correctly can be answered using R-CoF without any sample data outlining the logical process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL