RoT: Enhancing Large Language Models with Reflection on Search Trees

要約

大規模言語モデル (LLM) は、ツリー検索ベースのプロンプト手法と統合すると、推論と計画において優れた能力を発揮します。
ただし、これらの方法は以前の検索経験を無視するため、検索プロセスで同じ間違いを犯すことがよくあります。
この問題に対処するために、ツリー検索ベースのプロンプト手法のパフォーマンスを向上させるために設計された LLM リフレクション フレームワークである Reflection on search Trees (RoT) を導入します。
強力な LLM を使用して、以前のツリー検索エクスペリエンスからのガイドラインを要約し、弱い LLM の機能を強化します。
ガイドラインは、弱い LLM が過去の検索プロセスで同様の間違いを犯すのを防ぐことができる、ツリー検索を通じてこのタスクを解決するための指示です。
さらに、RoT がより具体的で有意義なガイドラインを生成できるように、過去の検索プロセスから重要な情報を特定する新しい状態選択方法を提案しました。
私たちの広範な実験では、RoT がさまざまなツリー検索ベースのプロンプト手法 (BFS や MCTS など) を使用したタスクの推論や計画において、LLM のパフォーマンスを大幅に向上させることがわかりました。
RoT は検索エクスペリエンスから収集されたタスク固有の知識を提供できるため、思考連鎖 (CoT) などの非ツリー検索ベースのプロンプト手法も RoT ガイドラインの恩恵を受けることができます。

要約(オリジナル)

Large language models (LLMs) have demonstrated impressive capability in reasoning and planning when integrated with tree-search-based prompting methods. However, since these methods ignore the previous search experiences, they often make the same mistakes in the search process. To address this issue, we introduce Reflection on search Trees (RoT), an LLM reflection framework designed to improve the performance of tree-search-based prompting methods. It uses a strong LLM to summarize guidelines from previous tree search experiences to enhance the ability of a weak LLM. The guidelines are instructions about solving this task through tree search which can prevent the weak LLMs from making similar mistakes in the past search process. In addition, we proposed a novel state selection method, which identifies the critical information from historical search processes to help RoT generate more specific and meaningful guidelines. In our extensive experiments, we find that RoT significantly improves the performance of LLMs in reasoning or planning tasks with various tree-search-based prompting methods (e.g., BFS and MCTS). Non-tree-search-based prompting methods such as Chain-of-Thought (CoT) can also benefit from RoT guidelines since RoT can provide task-specific knowledge collected from the search experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google