Planning with affordances: Integrating learned affordance models and symbolic planning

要約

現実世界の環境で働くインテリジェントエージェントは、環境とその能力について学ぶことができなければなりません。これにより、世界の状態に変化して、光選挙環境で複雑なマルチステップタスクを完了することができます。
環境について学ぶことは、さまざまなタスクや環境設定のためにエージェントのアクションセットを再定義することなく、さまざまな複数ステップタスクを実行するために特に重要です。
私たちの作業では、世界のオブジェクトの学習されたアフォーダンスモデルを使用して、既存のタスクとモーション計画のフレームワークを強化し、学習モデルを使用してマルチステップタスクの計画と実行を可能にします。
各タスクは、世界の現在の状態を特定の目標状態に変更すると見なすことができます。
アフォーダンスモデルは、どのアクションが可能か、特定の状態でそれらのアクションを実行する方法を提供します。
シンボリック計画アルゴリズムは、この情報と開始および目標状態を使用して、望ましい目標状態に到達して特定のタスクを完了するための実行可能な計画を作成します。
仮想3Dフォトリアリスティック環境であるAI2-TORでアプローチを実証し、実際のタスクで評価します。
私たちの結果は、エージェントが環境と対話する方法をすばやく学習し、「オブジェクトを邪魔にならないようにするためにオブジェクトを移動する」などのタスクを実行する準備ができていることを示しています。

要約(オリジナル)

Intelligent agents working in real-world environments must be able to learn about the environment and its capabilities which enable them to take actions to change to the state of the world to complete a complex multi-step task in a photorealistic environment. Learning about the environment is especially important to perform various multiple-step tasks without having to redefine an agent’s action set for different tasks or environment settings. In our work, we augment an existing task and motion planning framework with learned affordance models of objects in the world to enable planning and executing multi-step tasks using learned models. Each task can be seen as changing the current state of the world to a given goal state. The affordance models provide us with what actions are possible and how to perform those actions in any given state. A symbolic planning algorithm uses this information and the starting and goal state to create a feasible plan to reach the desired goal state to complete a given task. We demonstrate our approach in a virtual 3D photorealistic environment, AI2-Thor, and evaluate it on real-world tasks. Our results show that our agent quickly learns how to interact with the environment and is well prepared to perform tasks such as ‘Moving an object out of the way to reach the desired location.’

arxiv情報

提供元, 利用サービス

arxiv.jp, Google