Hierarchical Prompting Assists Large Language Model on Web Navigation

要約

大規模言語モデル (LLM) は、対話型の意思決定において複雑な観察を処理するのに苦労します。
この問題を軽減するために、単純な階層プロンプト アプローチを提案します。
\emph{完全な} 観察~(\emph{Web ページなど) をプロンプトに常に入れる以前のプロンプトのアプローチとは異なり、より \emph{凝縮}され、\emph{関連性の高いアクションを意識した観察を最初に構築することを提案します。
} 専用の \summ プロンプトを使用します。
\actor プロンプトは、要約された履歴に基づいて次のアクションを予測します。
私たちの方法は幅広い適用性を持っていますが、完全な観察には冗長で無関係な情報が含まれることが多い Web ナビゲーションの複雑な領域で特にその有効性を示しています。
私たちのアプローチは、同じ LLM を使用した以前の最先端のプロンプト メカニズムよりもタスク成功率で 6.2\% 優れており、長い観察トレースを伴う対話型意思決定タスクでの可能性を示しています。

要約(オリジナル)

Large language models (LLMs) struggle on processing complicated observations in interactive decision making. To alleviate this issue, we propose a simple hierarchical prompting approach. Diverging from previous prompting approaches that always put the \emph{full} observation~(\eg a web page) to the prompt, we propose to first construct an action-aware observation which is more \emph{condensed} and \emph{relevant} with a dedicated \summ prompt. The \actor prompt then predicts the next action based on the summarized history. While our method has broad applicability, we particularly demonstrate its efficacy in the complex domain of web navigation where a full observation often contains redundant and irrelevant information. Our approach outperforms the previous state-of-the-art prompting mechanism with the same LLM by 6.2\% on task success rate, demonstrating its potential on interactive decision making tasks with long observation traces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google