Ask more, know better: Reinforce-Learned Prompt Questions for Decision Making with Large Language Models

要約

大規模言語モデル (LLM) は、アクションベースのポリシーと思考連鎖 (CoT) 推論を組み合わせることにより、複雑で実践的な課題に取り組む際の有望性を実証します。
ただし、高品質のプロンプトを手元に用意することは、フレームワークの有効性にとって不可欠です。
現在、これらのプロンプトは多大な人間の労働力を利用して手作りされており、その結果、CoT ポリシーが一般化できないことがよくあります。
低レベルのコントローラーが CoT 推論を適切に処理できるようにするグラウンディング機能を開発するには、人間の介入も必要です。
この論文では、複雑な推論を使用して実際の設定でタスクを解決するための完全に統合されたエンドツーエンドのフレームワークに向けた第一歩を踏み出します。
その目的のために、私たちは、関連する質問 (プロンプト) をすることを学習し、その後、環境内で実行されるアクションの学習を導く推論を行うことができる、新しいリーダーとフォロワーの 2 レベルのフレームワークを提供します。
適切なプロンプトでは、過去の調査結果に基づいて内省的な修正を行い、CoT が予想される目標を検討できるようにする必要があります。
プロンプト生成ポリシーはシステム内に独自の目的を持っており、アクション ポリシーに適応し、決定的でパフォーマンスの高いアクションにつながる出力に向けて CoT プロセスを自動的に根付かせることができます。
一方、アクション ポリシーは、CoT 出力を使用して特定のアクションを実行する方法を学習しています。
私たちの経験的データは、私たちのシステムが Overcooked や FourRoom などのエージェント学習ベンチマークにおける主要な手法よりも優れていることを明らかにしています。

要約(オリジナル)

Large language models (LLMs) demonstrate their promise in tackling complicated practical challenges by combining action-based policies with chain of thought (CoT) reasoning. Having high-quality prompts on hand, however, is vital to the framework’s effectiveness. Currently, these prompts are handcrafted utilizing extensive human labor, resulting in CoT policies that frequently fail to generalize. Human intervention is also required in order to develop grounding functions that ensure low-level controllers appropriately process CoT reasoning. In this paper, we take the first step towards a fully integrated end-to-end framework for task-solving in real settings employing complicated reasoning. To that purpose, we offer a new leader-follower bilevel framework capable of learning to ask relevant questions (prompts) and subsequently undertaking reasoning to guide the learning of actions to be performed in an environment. A good prompt should make introspective revisions based on historical findings, leading the CoT to consider the anticipated goals. A prompt-generator policy has its own aim in our system, allowing it to adapt to the action policy and automatically root the CoT process towards outputs that lead to decisive, high-performing actions. Meanwhile, the action policy is learning how to use the CoT outputs to take specific actions. Our empirical data reveal that our system outperforms leading methods in agent learning benchmarks such as Overcooked and FourRoom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google