Multi-step planning with learned effects of (possibly partial) action executions

要約

この論文では、条件付きニューラルプロセスに基づいて構築されたアフォーダンスモデルを提案します。これは、オブジェクト、アクション、または効果情報が与えられたときに効果の軌跡をいつでも予測できます。
アフォーダンスは、オブジェクト、アクション、および効果チャネルを組み合わせた潜在的な表現で表されます。
このモデルにより、部分アクションの実行から得られると予想される中間効果の予測を行うことができ、この機能を使用して、目標を達成するための部分アクションを含む多段階の計画を立てることができます。
最初に、モデルが正確な連続効果予測を行えることを示します。
レバーアップアクションを含む既存のデータセットを使用して、モデルを最近の LSTM ベースの効果予測子と比較しました。
次に、私たちのモデルがプッシュとつかみのアクションの正確な効果予測を生成できることを示しました。
最後に、オブジェクトを目的の位置に移動するために、システムが成功する多段階計画を生成できることを示しました。
重要なことに、提案されたシステムは、完全なアクションの実行のみを考慮する計画と比較して、部分的なアクションの実行により、より正確で効果的な計画を生成しました。
学習アフォーダンスに基づく継続的な効果予測と多段階計画は文献で研究されていますが、継続的なアフォーダンスと効果予測は、正確できめ細かい計画の作成には利用されていません。

要約(オリジナル)

In this paper, we propose an affordance model, which is built on Conditional Neural Processes, that can predict effect trajectories given objects, action or effect information at any time. Affordances are represented in a latent representation that combines object, action and effect channels. This model allows us to make predictions of intermediate effects expected to be obtained from partial action executions, and this capability is used to make multi-step plans that include partial actions in order to achieve goals. We first show that our model can make accurate continuous effect predictions. We compared our model with a recent LSTM-based effect predictor using an existing dataset that includes lever-up actions. Next, we showed that our model can generate accurate effect predictions for push and grasp actions. Finally, we showed that our system can generate successful multi-step plans in order to bring objects to desired positions. Importantly, the proposed system generated more accurate and effective plans with partial action executions compared to plans that only consider full action executions. Although continuous effect prediction and multi-step planning based on learning affordances have been studied in the literature, continuous affordance and effect predictions have not been utilized in making accurate and fine-grained plans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google