Object and Relation Centric Representations for Push Effect Prediction

要約

押すことは、把握前の操作からシーンの再配置、シーン内のオブジェクトの関係についての推論に至るまでのタスクに使用される本質的な非把握操作スキルであるため、押すアクションはロボット工学で広く研究されています。
プッシュ アクションを効果的に使用するには、多くの場合、操作されるオブジェクトのダイナミクスを理解し、予測と現実の間の不一致に適応する必要があります。
このため、プッシュアクションを使用した効果予測とパラメーター推定は、文献で頻繁に調査されています。
ただし、現在のアプローチは、固定数のオブジェクトを使用してシステムをモデル化するか、出力があまり解釈できず、エラーがすぐに蓄積される画像ベースの表現を使用するため、制限があります。
この論文では、接触またはアーティキュレーションに基づいてオブジェクトの関係をモデル化することにより、押すアクションの効果予測とパラメータ推定のためのグラフ ニューラル ネットワーク ベースのフレームワークを提案します。
私たちのフレームワークは、さまざまなタイプのジョイントとさまざまな質量のオブジェクトを介して接続されたさまざまな形状のマルチパートオブジェクトを含む実際の環境とシミュレートされた環境の両方で検証されており、物理予測で画像ベースの表現よりも優れています。
私たちのアプローチにより、ロボットはシーンを観察しながら押すアクションの効果を予測して適応させることができます。
また、見たことのないツールを使用したツール操作にも使用できます。
さらに、ロボットベースのハードディスク分解のコンテキストでレバーアップアクションで6D効果予測を示します。

要約(オリジナル)

Pushing is an essential non-prehensile manipulation skill used for tasks ranging from pre-grasp manipulation to scene rearrangement, reasoning about object relations in the scene, and thus pushing actions have been widely studied in robotics. The effective use of pushing actions often requires an understanding of the dynamics of the manipulated objects and adaptation to the discrepancies between prediction and reality. For this reason, effect prediction and parameter estimation with pushing actions have been heavily investigated in the literature. However, current approaches are limited because they either model systems with a fixed number of objects or use image-based representations whose outputs are not very interpretable and quickly accumulate errors. In this paper, we propose a graph neural network based framework for effect prediction and parameter estimation of pushing actions by modeling object relations based on contacts or articulations. Our framework is validated both in real and simulated environments containing different shaped multi-part objects connected via different types of joints and objects with different masses, and it outperforms image-based representations on physics prediction. Our approach enables the robot to predict and adapt the effect of a pushing action as it observes the scene. It can also be used for tool manipulation with never-seen tools. Further, we demonstrate 6D effect prediction in the lever-up action in the context of robot-based hard-disk disassembly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google