Multi-Object Graph Affordance Network: Goal-Oriented Planning through Learned Compound Object Affordances

要約

学習オブジェクト アフォーダンスは、ロボット学習の分野で効果的なツールです。
データ駆動型モデルは単一またはペアのオブジェクトのアフォーダンスを調査しますが、任意の数のオブジェクトで構成される複合オブジェクトのアフォーダンスの調査にはギャップがあります。
我々は、オブジェクトと化合物の間の相互作用を促進するロボットの動作の結果を学習することによって、複雑な複合オブジェクトのアフォーダンスをモデル化するマルチオブジェクト グラフ アフォーダンス ネットワークを提案します。
オブジェクトの深度画像が与えられると、オブジェクトの特徴が畳み込み演算によって抽出され、グラフ ニューラル ネットワークのノードでエンコードされます。
グラフ畳み込み演算は、化合物の状態をエンコードするために使用され、オブジェクトと化合物の相互作用の結果を予測するためのデコーダーへの入力として使用されます。
さまざまなタスクを与えて複合オブジェクトのアフォーダンスを学習した後、学習した結果予測子を使用して、オブジェクトを互いに積み重ねたり、小さなオブジェクトを大きなコンテナに挿入したり、リング状のオブジェクトをポールに通したりする一連のスタック アクションを計画します。
私たちのシステムが、シミュレーション環境と現実世界の両方の環境で、凹凸のあるオブジェクトを含む複合オブジェクトのアフォーダンスをモデル化することに成功したことを示しました。
私たちは、その利点を強調するために、ベースライン モデルを使用してシステムのベンチマークを実施しました。

要約(オリジナル)

Learning object affordances is an effective tool in the field of robot learning. While the data-driven models investigate affordances of single or paired objects, there is a gap in the exploration of affordances of compound objects composed of an arbitrary number of objects. We propose the Multi-Object Graph Affordance Network which models complex compound object affordances by learning the outcomes of robot actions that facilitate interactions between an object and a compound. Given the depth images of the objects, the object features are extracted via convolution operations and encoded in the nodes of graph neural networks. Graph convolution operations are used to encode the state of the compounds, which are used as input to decoders to predict the outcome of the object-compound interactions. After learning the compound object affordances, given different tasks, the learned outcome predictors are used to plan sequences of stack actions that involve stacking objects on top of each other, inserting smaller objects into larger containers and passing through ring-like objects through poles. We showed that our system successfully modeled the affordances of compound objects that include concave and convex objects, in both simulated and real-world environments. We benchmarked our system with a baseline model to highlight its advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google