Embodied Task Planning with Large Language Models

要約

ロボットが一般的な環境で人間の複雑な指示を正常に完了するには、実体化したエージェントに常識を備えさせることが重要です。
最近の大規模言語モデル (LLM) は、複雑なタスクの計画生成においてエージェント向けに豊富な意味論的知識を組み込むことができますが、現実世界に関する情報が不足しており、通常は実行不可能なアクション シーケンスが生成されます。
この論文では、物理的なシーン制約を伴う地上計画のための具現化タスクにおけるタスク プランニング エージェント (TaPA) を提案します。このエージェントは、LLM を視覚モデルと調整することにより、シーン内に存在するオブジェクトに従って実行可能な計画を生成します。
具体的には、まず屋内シーン、指示、アクション プランの 3 つの要素を含むマルチモーダル データセットを構築します。ここで、GPT-3.5 用に設計されたプロンプトとシーン内の既存オブジェクトのリストを提供して、多数の指示と対応する計画されたアクションを生成します。
生成されたデータは、事前トレーニングされた LLM の基礎的な計画調整に活用されます。
推論中に、オープンボキャブラリーオブジェクト検出器を、さまざまな達成可能な場所で収集されたマルチビュー RGB 画像に拡張することにより、シーン内のオブジェクトを発見します。
実験結果は、TaPA フレームワークから生成された計画が LLaVA や GPT-3.5 よりも大幅に高い成功率を達成できることを示しており、これは一般的で複雑な環境における具体化されたタスク計画の実用性を示しています。

要約(オリジナル)

Equipping embodied agents with commonsense is important for robots to successfully complete complex human instructions in general environments. Recent large language models (LLM) can embed rich semantic knowledge for agents in plan generation of complex tasks, while they lack the information about the realistic world and usually yield infeasible action sequences. In this paper, we propose a TAsk Planing Agent (TaPA) in embodied tasks for grounded planning with physical scene constraint, where the agent generates executable plans according to the existed objects in the scene by aligning LLMs with the visual perception models. Specifically, we first construct a multimodal dataset containing triplets of indoor scenes, instructions and action plans, where we provide the designed prompts and the list of existing objects in the scene for GPT-3.5 to generate a large number of instructions and corresponding planned actions. The generated data is leveraged for grounded plan tuning of pre-trained LLMs. During inference, we discover the objects in the scene by extending open-vocabulary object detectors to multi-view RGB images collected in different achievable locations. Experimental results show that the generated plan from our TaPA framework can achieve higher success rate than LLaVA and GPT-3.5 by a sizable margin, which indicates the practicality of embodied task planning in general and complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google