Deep Reinforcement Learning Based on Local GNN for Goal-conditioned Deformable Object Rearranging

要約

オブジェクトの再配置は、最も一般的な変形可能な操作タスクの 1 つであり、ロボットが変形可能なオブジェクトを目標構成に再配置する必要があります。
以前の研究では、モデルベースまたはデータ駆動型のアプローチによって特定のタスクごとにエキスパート システムを設計することに焦点が当てられていたため、アプリケーション シナリオは限られています。
一部の研究では、変形可能な再配置タスクのより高度な操作機能を取得するための一般的なフレームワークを設計しようとしており、シミュレーションで多くの進歩が達成されています。
ただし、エンドツーエンドの CNN アーキテクチャの制限により、シミュレーションから現実への移行は困難です。
これらの課題に対処するために、ローカル GNN (グラフ ニューラル ネットワーク) ベースの学習方法を設計します。これは、2 つの表現グラフを使用して、画像から検出されたキーポイントをエンコードします。
グラフの更新には自己注意が適用され、操作アクションの生成には相互注意が適用されます。
私たちのフレームワークがシミュレーションでの複数の 1 次元 (ロープ、ロープ リング) および 2 次元 (布) の再配置タスクで効果的であり、キーポイント検出器を微調整することによって実際のロボットに簡単に転送できることを実証するために、広範な実験が行われました。
.

要約(オリジナル)

Object rearranging is one of the most common deformable manipulation tasks, where the robot needs to rearrange a deformable object into a goal configuration. Previous studies focus on designing an expert system for each specific task by model-based or data-driven approaches and the application scenarios are therefore limited. Some research has been attempting to design a general framework to obtain more advanced manipulation capabilities for deformable rearranging tasks, with lots of progress achieved in simulation. However, transferring from simulation to reality is difficult due to the limitation of the end-to-end CNN architecture. To address these challenges, we design a local GNN (Graph Neural Network) based learning method, which utilizes two representation graphs to encode keypoints detected from images. Self-attention is applied for graph updating and cross-attention is applied for generating manipulation actions. Extensive experiments have been conducted to demonstrate that our framework is effective in multiple 1-D (rope, rope ring) and 2-D (cloth) rearranging tasks in simulation and can be easily transferred to a real robot by fine-tuning a keypoint detector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google