HiAgent: Hierarchical Working Memory Management for Solving Long-Horizon Agent Tasks with Large Language Model

要約

Large Language Model (LLM) ベースのエージェントは、さまざまなドメインにわたって大きな可能性を示し、環境観察を処理してターゲット タスクの実行可能なアクションを生成する対話型システムとして動作します。
これらのエージェントの有効性は、歴史的経験を一連の行動と観察のペアとして記録する記憶メカニズムに大きく影響されます。
私たちは記憶を 2 つのタイプに分類します。1 つは複数の試行にわたって蓄積される試行間記憶、もう 1 つは 1 回の試行内で蓄積される試行内記憶 (作業記憶) です。
かなりの研究により、トライアル間のメモリを通じてパフォーマンスが最適化されていますが、ワーキング メモリの使用率の向上によるエージェントのパフォーマンスの向上については、まだ十分に研究されていません。
その代わりに、既存のアプローチでは、歴史的なアクションと観察のペア全体を LLM に直接入力することが多く、長期にわたるタスクの冗長性が生じます。
この文書では、人間の問題解決戦略にインスピレーションを得て、LLM ベースのエージェントの作業メモリを階層的に管理するメモリ チャンクとしてサブゴールを利用するフレームワークである HiAgent を紹介します。
具体的には、HiAgent は、実行可能なアクションを生成する前に LLM にサブ目標を策定するよう促し、LLM が現在のサブ目標に関連するアクションと観測のペアのみを保持して、以前のサブ目標を要約された観測値に置き換えることを積極的に決定できるようにします。
5 つの長期タスクにわたる実験結果は、HiAgent が成功率を 2 倍に高め、必要な平均ステップ数を 3.8 削減することを示しています。
さらに、私たちの分析では、HiAgent がさまざまなステップにわたって一貫してパフォーマンスを向上させ、その堅牢性と汎用性が強調されていることが示されています。
プロジェクトページ: https://github.com/HiAgent2024/HiAgent 。

要約(オリジナル)

Large Language Model (LLM)-based agents exhibit significant potential across various domains, operating as interactive systems that process environmental observations to generate executable actions for target tasks. The effectiveness of these agents is significantly influenced by their memory mechanism, which records historical experiences as sequences of action-observation pairs. We categorize memory into two types: cross-trial memory, accumulated across multiple attempts, and in-trial memory (working memory), accumulated within a single attempt. While considerable research has optimized performance through cross-trial memory, the enhancement of agent performance through improved working memory utilization remains underexplored. Instead, existing approaches often involve directly inputting entire historical action-observation pairs into LLMs, leading to redundancy in long-horizon tasks. Inspired by human problem-solving strategies, this paper introduces HiAgent, a framework that leverages subgoals as memory chunks to manage the working memory of LLM-based agents hierarchically. Specifically, HiAgent prompts LLMs to formulate subgoals before generating executable actions and enables LLMs to decide proactively to replace previous subgoals with summarized observations, retaining only the action-observation pairs relevant to the current subgoal. Experimental results across five long-horizon tasks demonstrate that HiAgent achieves a twofold increase in success rate and reduces the average number of steps required by 3.8. Additionally, our analysis shows that HiAgent consistently improves performance across various steps, highlighting its robustness and generalizability. Project Page: https://github.com/HiAgent2024/HiAgent .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google