Hierarchical Prompting Assists Large Language Model on Web Navigation

要約

大規模言語モデル (LLM) は、対話型の意思決定タスクにおける複雑な観察を処理するのに苦労します。
この問題を軽減するために、単純な階層プロンプト アプローチを提案します。
常に完全な観察 (Web ページなど) をプロンプトに入力する以前のプロンプト アプローチとは異なり、専用の SUMMARIZER プロンプトを使用して、より凝縮され関連性の高いアクションを意識した観察を最初に構築することを提案します。
ACTOR プロンプトは、要約された観察に基づいて次のアクションを予測します。
私たちの方法は幅広い適用性を持っていますが、完全な観察には冗長で無関係な情報が含まれることが多い Web ナビゲーションの複雑な領域で特にその有効性を示しています。
私たちのアプローチは、タスクの成功率において、以前の最先端のプロンプト機構を 6.2% 上回っており、長い観察トレースを伴う対話型の意思決定タスクでの可能性を示しています。

要約(オリジナル)

Large language models (LLMs) struggle on processing complicated observations in interactive decision making tasks. To alleviate this issue, we propose a simple hierarchical prompting approach. Diverging from previous prompting approaches that always put the full observation (e.g. a web page) to the prompt, we propose to first construct an action-aware observation which is more condensed and relevant with a dedicated SUMMARIZER prompt. The ACTOR prompt then predicts the next action based on the summarized observation. While our method has broad applicability, we particularly demonstrate its efficacy in the complex domain of web navigation where a full observation often contains redundant and irrelevant information. Our approach outperforms the previous state-of-the-art prompting mechanics by 6.2% on task success rate, demonstrating its potential on interactive decision making tasks with long observation traces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google