Embodied Instruction Following in Unknown Environments

要約

身体化されたエージェントが自然言語から人間による複雑な指示を完了できるようにすることは、家事サービスにおける自律システムにとって非常に重要です。
従来の方法では、すべてのインタラクティブなオブジェクトが身体化されたエージェントに提供される既知の環境でのみ人間の指示を達成できます。また、既存のアプローチを未知の環境に直接展開すると、通常、存在しないオブジェクトを操作する実行不可能な計画が生成されます。
それとは逆に、未知の環境における複雑なタスクに対して、エージェントが未知の環境を効率的に探索して、既存のオブジェクトを使用して実行可能な計画を生成し、抽象的な命令を達成する、具体化された命令追従（EIF）手法を提案します。
具体的には、マルチモーダル大規模言語モデルを使用した高レベルのタスク プランナーと低レベルの探索コントローラーを含むフレームワークに従って、階層的な具体化された命令を構築します。
次に、動的領域注意を使用してシーンの意味表現マップを構築し、既知の視覚的手がかりを示します。ここでは、タスク計画とシーン探索の目標が人間の指示に合わせて調整されます。
タスクプランナーの場合、タスク完了プロセスと既知の視覚的手がかりに従って、人間の目標を達成するための実行可能な段階的な計画を生成します。
探索コントローラーの場合、生成された段階的な計画と既知の視覚的手がかりに基づいて、最適なナビゲーションまたはオブジェクト インタラクション ポリシーが予測されます。
実験結果は、私たちの方法が、大規模な家レベルのシーンでの朝食の準備や部屋の片付けなど、人間による 204 の複雑な指示で 45.09% の成功率を達成できることを示しています。

要約(オリジナル)

Enabling embodied agents to complete complex human instructions from natural language is crucial to autonomous systems in household services. Conventional methods can only accomplish human instructions in the known environment where all interactive objects are provided to the embodied agent, and directly deploying the existing approaches for the unknown environment usually generates infeasible plans that manipulate non-existing objects. On the contrary, we propose an embodied instruction following (EIF) method for complex tasks in the unknown environment, where the agent efficiently explores the unknown environment to generate feasible plans with existing objects to accomplish abstract instructions. Specifically, we build a hierarchical embodied instruction following framework including the high-level task planner and the low-level exploration controller with multimodal large language models. We then construct a semantic representation map of the scene with dynamic region attention to demonstrate the known visual clues, where the goal of task planning and scene exploration is aligned for human instruction. For the task planner, we generate the feasible step-by-step plans for human goal accomplishment according to the task completion process and the known visual clues. For the exploration controller, the optimal navigation or object interaction policy is predicted based on the generated step-wise plans and the known visual clues. The experimental results demonstrate that our method can achieve 45.09% success rate in 204 complex human instructions such as making breakfast and tidying rooms in large house-level scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google