The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement

要約

大規模な言語モデル（LLM）は最近、テキストベースのアシスタントから、行動を計画、推論、および繰り返し改善できる自律エージェントに変換されました。
数値報酬信号と検証剤は候補アクションを効果的にランク付けすることができますが、多くの場合、限られたコンテキストガイダンスを提供します。
対照的に、自然言語のフィードバックはLLMSの生成能力とよりよく調整され、より豊かで実用的な提案を提供します。
ただし、このフィードバックを効果的に解析して実装することは、LLMベースのエージェントにとって困難な場合があります。
この作業では、環境モデルと詳細な自然言語のフィードバックを生成する批評家モデルを探求する俳優モデルを含む、批評誘導改善（CGI）を紹介します。
批評家を訓練して、きめ細かい評価と実用的な修正を生み出し、俳優がこれらの批評を活用するために、私たちのアプローチは、ローカルオプティマを避けながら、代替戦略のより堅牢な調査を促進します。
3つのインタラクティブな環境での実験は、CGIが既存のベースラインを大幅に上回ることを示しています。
特に、小さな批評家モデルでさえ、フィードバックの品質でGPT-4を上回ります。
結果として得られる俳優は、最先端のパフォーマンスを達成し、LLMベースのエージェントの意思決定を強化するための明示的な反復ガイダンスの力を実証します。

要約(オリジナル)

Large language models (LLMs) have recently transformed from text-based assistants to autonomous agents capable of planning, reasoning, and iteratively improving their actions. While numerical reward signals and verifiers can effectively rank candidate actions, they often provide limited contextual guidance. In contrast, natural language feedback better aligns with the generative capabilities of LLMs, providing richer and more actionable suggestions. However, parsing and implementing this feedback effectively can be challenging for LLM-based agents. In this work, we introduce Critique-Guided Improvement (CGI), a novel two-player framework, comprising an actor model that explores an environment and a critic model that generates detailed nature language feedback. By training the critic to produce fine-grained assessments and actionable revisions, and the actor to utilize these critiques, our approach promotes more robust exploration of alternative strategies while avoiding local optima. Experiments in three interactive environments show that CGI outperforms existing baselines by a substantial margin. Notably, even a small critic model surpasses GPT-4 in feedback quality. The resulting actor achieves state-of-the-art performance, demonstrating the power of explicit iterative guidance to enhance decision-making in LLM-based agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google