Bimanual Deformable Bag Manipulation Using a Structure-of-Interest Based Neural Dynamics Model

要約

ロボット システムによる変形可能な物体の操作には、その複雑で無限次元の構成空間があるため、大きな課題が生じます。
この論文では、変形可能な布製バッグ内の対象構造物 (SOI) の識別と操作に重点を置く、変形可能なオブジェクト操作 (DOM) への新しいアプローチを紹介します。
我々は、これらの SOI の動作を簡潔に表現および予測するために、グラフ ニューラル ネットワーク (GNN) ベースの潜在力学モデルを活用する両手操作フレームワークを提案します。
私たちのアプローチには、物体の部分的な点群データからグラフ表現を構築し、削減された計算スペース内で布製バッグの本質的な変形を効果的に捕捉する潜在力学モデルを学習することが含まれます。
この潜在力学モデルをモデル予測制御 (MPC) と統合することで、ロボット マニピュレーターが SOI に焦点を当てた正確で安定した操作タスクを実行できるようになります。
私たちは、布製バッグの両手操作における有効性を実証するさまざまな実証実験を通じて、フレームワークを検証してきました。
私たちの貢献は、DOM に固有の複雑さに対処するだけでなく、変形可能なオブジェクトの重要な構造要素に集中することで、変形可能なオブジェクトとのロボットの相互作用を強化するための新しい視点と方法論も提供します。
実験ビデオは https://sites.google.com/view/bagbot から入手できます。

要約(オリジナル)

The manipulation of deformable objects by robotic systems presents a significant challenge due to their complex and infinite-dimensional configuration spaces. This paper introduces a novel approach to Deformable Object Manipulation (DOM) by emphasizing the identification and manipulation of Structures of Interest (SOIs) in deformable fabric bags. We propose a bimanual manipulation framework that leverages a Graph Neural Network (GNN)-based latent dynamics model to succinctly represent and predict the behavior of these SOIs. Our approach involves constructing a graph representation from partial point cloud data of the object and learning the latent dynamics model that effectively captures the essential deformations of the fabric bag within a reduced computational space. By integrating this latent dynamics model with Model Predictive Control (MPC), we empower robotic manipulators to perform precise and stable manipulation tasks focused on the SOIs. We have validated our framework through various empirical experiments demonstrating its efficacy in bimanual manipulation of fabric bags. Our contributions not only address the complexities inherent in DOM but also provide new perspectives and methodologies for enhancing robotic interactions with deformable objects by concentrating on their critical structural elements. Experimental videos can be obtained from https://sites.google.com/view/bagbot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google