Adversarial Object Rearrangement in Constrained Environments with Heterogeneous Graph Neural Networks

要約

現実世界での敵対的なオブジェクトの再配置（キッチンや店舗にあるこれまで見たことのないアイテムや特大のアイテムなど）は、現在のオブジェクト、目標オブジェクト、環境制約などの異種コンポーネントを本質的に伴うタスク シーンを理解することで恩恵を受ける可能性があります。
これらのコンポーネント間の意味論的な関係は互いに異なり、多技能ロボットが日常のシナリオで効率的に動作するためには非常に重要です。
我々は、制約された環境で敵対的なオブジェクトを再配置するために、根底にある関係を学習し、その多様なスキル（ピック・プレイス、プッシュなど）の協力力を最大化する階層型ロボット操作システムを提案します。
高レベルのコーディネーターは、ヘテロジニアス グラフ ニューラル ネットワーク (HetGNN) を採用し、現在のオブジェクト、目標オブジェクト、および環境制約について推論します。
低レベルの 3D 畳み込みニューラル ネットワーク ベースのアクターがアクション プリミティブを実行します。
私たちのアプローチは完全にシミュレーションでトレーニングされており、実世界の実験では平均成功率 87.88%、計画コスト 12.82 を達成し、すべてのベースライン手法を上回りました。
補足資料は https://sites.google.com/umn.edu/versatile-rearrangement で入手できます。

要約(オリジナル)

Adversarial object rearrangement in the real world (e.g., previously unseen or oversized items in kitchens and stores) could benefit from understanding task scenes, which inherently entail heterogeneous components such as current objects, goal objects, and environmental constraints. The semantic relationships among these components are distinct from each other and crucial for multi-skilled robots to perform efficiently in everyday scenarios. We propose a hierarchical robotic manipulation system that learns the underlying relationships and maximizes the collaborative power of its diverse skills (e.g., pick-place, push) for rearranging adversarial objects in constrained environments. The high-level coordinator employs a heterogeneous graph neural network (HetGNN), which reasons about the current objects, goal objects, and environmental constraints; the low-level 3D Convolutional Neural Network-based actors execute the action primitives. Our approach is trained entirely in simulation, and achieved an average success rate of 87.88% and a planning cost of 12.82 in real-world experiments, surpassing all baseline methods. Supplementary material is available at https://sites.google.com/umn.edu/versatile-rearrangement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google