Plan, Eliminate, and Track — Language Models are Good Teachers for Embodied Agents

要約

タイトル：論文のタイトルは「Plan, Eliminate, and Track — Language Models are Good Teachers for Embodied Agents」である。

要約：
– 大規模言語モデル（LLM）は手続き的な知識を捕捉するため、最近の研究では、LLMの抽象的なプランを生成する能力を活用して、制御タスクを単純化することが試みられてきた。
– しかし、変形器アーキテクチャは、LLMが直接エージェントとして機能することを困難にするいくつかの制約を備えている。例えば、入力長の制限、微調整の効率の低さ、事前トレーニングからのバイアス、非テキスト環境との互換性など。
– 低レベルで訓練可能なアクターとの互換性を維持するために、我々は制御問題を解決するのではなく、LLMの知識を用いて制御問題を単純化することを提案する。
– このために、我々はPlan, Eliminate, and Track (PET)フレームワークを提案する。Planモジュールは、タスクの説明を高次のサブタスクのリストに変換する。Eliminateモジュールは、現在のサブタスクの観測から関係のないオブジェクトと受信器をマスクする。最後に、Trackモジュールは、エージェントが各サブタスクを達成したかどうかを決定する。
– AlfWorldの指示に従うベンチマークでは、PETフレームワークは、人間の目標仕様の一般化においてSOTAに比べて15%の改善をもたらす。

要約(オリジナル)

Pre-trained large language models (LLMs) capture procedural knowledge about the world. Recent work has leveraged LLM’s ability to generate abstract plans to simplify challenging control tasks, either by action scoring, or action modeling (fine-tuning). However, the transformer architecture inherits several constraints that make it difficult for the LLM to directly serve as the agent: e.g. limited input lengths, fine-tuning inefficiency, bias from pre-training, and incompatibility with non-text environments. To maintain compatibility with a low-level trainable actor, we propose to instead use the knowledge in LLMs to simplify the control problem, rather than solving it. We propose the Plan, Eliminate, and Track (PET) framework. The Plan module translates a task description into a list of high-level sub-tasks. The Eliminate module masks out irrelevant objects and receptacles from the observation for the current sub-task. Finally, the Track module determines whether the agent has accomplished each sub-task. On the AlfWorld instruction following benchmark, the PET framework leads to a significant 15% improvement over SOTA for generalization to human goal specifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI