Language Models can Solve Computer Tasks

要約

コンピュータ上で一般的なタスクを実行できるエージェントは、繰り返しのタスクを自動化し、複雑な問題解決を支援することで、効率と生産性を向上させることができます。
理想的には、そのようなエージェントは、自然言語コマンドを通じて提示された新しいコンピューター タスクを解決できる必要があります。
ただし、この問題に対する以前のアプローチでは、大量の専門家のデモとタスク固有の報酬関数が必要であり、どちらも新しいタスクには実用的ではありません。
この作業では、事前にトレーニングされた大規模言語モデル (LLM) エージェントが、エージェントがその出力 (RCI) を再帰的に批判および改善する単純なプロンプト スキームを使用して、自然言語に導かれたコンピューター タスクを実行できることを示します。
RCI アプローチは、コンピューター タスクを自動化する既存の LLM メソッドよりも大幅に優れており、MiniWoB++ ベンチマークでは、教師あり学習 (SL) および強化学習 (RL) アプローチを上回っています。
RCI は、最先端の SL+RL メソッドに匹敵し、タスクごとに数万ではなく少数のデモンストレーションのみを使用し、タスク固有の報酬関数を使用しません。
さらに、一連の自然言語推論タスクで LLM の推論能力を強化する RCI プロンプトの有効性を示し、思考連鎖 (CoT) プロンプトよりも優れています。
CoT と組み合わせた RCI は、どちらかを単独で使用するよりも優れたパフォーマンスを発揮することがわかりました。

要約(オリジナル)

Agents capable of carrying out general tasks on a computer can improve efficiency and productivity by automating repetitive tasks and assisting in complex problem-solving. Ideally, such agents should be able to solve new computer tasks presented to them through natural language commands. However, previous approaches to this problem require large amounts of expert demonstrations and task-specific reward functions, both of which are impractical for new tasks. In this work, we show that a pre-trained large language model (LLM) agent can execute computer tasks guided by natural language using a simple prompting scheme where the agent recursively criticizes and improves its output (RCI). The RCI approach significantly outperforms existing LLM methods for automating computer tasks and surpasses supervised learning (SL) and reinforcement learning (RL) approaches on the MiniWoB++ benchmark. RCI is competitive with the state-of-the-art SL+RL method, using only a handful of demonstrations per task rather than tens of thousands, and without a task-specific reward function. Furthermore, we demonstrate RCI prompting’s effectiveness in enhancing LLMs’ reasoning abilities on a suite of natural language reasoning tasks, outperforming chain of thought (CoT) prompting. We find that RCI combined with CoT performs better than either separately.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google