Manipulating Elasto-Plastic Objects With 3D Occupancy and Learning-Based Predictive Control

要約

エラストプラスチックオブジェクトの操作は、深刻な自己閉鎖、表現の難しさ、複雑なダイナミクスのために、依然として重要な課題です。
この作業は、モーションのための準静的仮定を伴うエラストプラスチックオブジェクト操作のための新しいフレームワーク、そのようなオブジェクトを表す3D占有率を活用し、3D占有で訓練された学習ダイナミクスモデル、およびこれらの課題に効果的に対処するための学習ベースの予測制御アルゴリズムを提案します。
完全な空間情報を収集し、3D占有データセットを生成するためのパイプラインを提案するための新しいデータ収集プラットフォームを構築します。
操作中に3D占有率を推測するために、占有予測ネットワークは、生成されたデータセットによって監督された複数のRGB画像でトレーニングされています。
3D畳み込みニューラルネットワーク（CNN）とグラフニューラルネットワーク（GNN）に力を与えた深いニューラルネットワークを設計して、推定された3D占有率との複雑な変形を予測します。
学習ベースの予測制御アルゴリズムが導入され、ロボットアクションを計画し、プランナーの効率を改善するために特別に設計された新しい形状ベースのアクション初期化モジュールを組み込みます。
このペーパーで提案されているフレームワークは、エラストプラスチックオブジェクトを特定の目標形状に成功裏に形作ることができ、シミュレーションと現実世界の両方でさまざまな実験で検証されています。

要約(オリジナル)

Manipulating elasto-plastic objects remains a significant challenge due to severe self-occlusion, difficulties of representation, and complicated dynamics. This work proposes a novel framework for elasto-plastic object manipulation with a quasi-static assumption for motions, leveraging 3D occupancy to represent such objects, a learned dynamics model trained with 3D occupancy, and a learning-based predictive control algorithm to address these challenges effectively. We build a novel data collection platform to collect full spatial information and propose a pipeline for generating a 3D occupancy dataset. To infer the 3D occupancy during manipulation, an occupancy prediction network is trained with multiple RGB images supervised by the generated dataset. We design a deep neural network empowered by a 3D convolution neural network (CNN) and a graph neural network (GNN) to predict the complex deformation with the inferred 3D occupancy results. A learning-based predictive control algorithm is introduced to plan the robot actions, incorporating a novel shape-based action initialization module specifically designed to improve the planner efficiency. The proposed framework in this paper can successfully shape the elasto-plastic objects into a given goal shape and has been verified in various experiments both in simulation and the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google