DeformerNet: Learning Bimanual Manipulation of 3D Deformable Objects

要約

在宅医療から倉庫のフルフィルメント、手術支援に至るまでの分野でのアプリケーションでは、ロボットが 3D 変形可能なオブジェクトの形状を確実に操作する必要があります。
弾性のある 3D 変形可能なオブジェクトの解析モデルには、オブジェクトの形状を決定する際に存在する潜在的に無限の自由度を記述するために多数のパラメーターが必要です。
3D 形状制御を実行するこれまでの試みは、オブジェクトの形状を表すために手作りされた特徴に依存しており、オブジェクト固有の制御モデルのトレーニングが必要でした。
私たちは、新しい DeformerNet ニューラル ネットワーク アーキテクチャを使用することで、これらの問題を克服しました。このアーキテクチャは、操作対象オブジェクトの部分視点の点群と目標形状の点群を操作して、オブジェクト形状の低次元表現を学習します。
この形状の埋め込みにより、ロボットは、目的のロボットのエンドエフェクターの動作を計算して、オブジェクトをターゲットの形状に向かって反復的に変形させるビジュアル サーボ コントローラーを学習できるようになります。
私たちは、シミュレーションと物理ロボットの両方で、DeformerNet がトレーニング中には見ら​​れないオブジェクトの形状や材料の硬さ (生体外のニワトリの筋肉組織など) を確実に一般化することを実証します。
重要なのは、DeformerNet を使用して、ロボットが 3 つの外科的サブタスクを首尾よく達成することです: 開創 (組織を脇に移動してその下の部位にアクセスする)、組織ラッピング (大動脈ステント留置などの処置におけるサブタスク)、および 2 つの管状組織片の接続
(吻合のサブタスク)。

要約(オリジナル)

Applications in fields ranging from home care to warehouse fulfillment to surgical assistance require robots to reliably manipulate the shape of 3D deformable objects. Analytic models of elastic, 3D deformable objects require numerous parameters to describe the potentially infinite degrees of freedom present in determining the object’s shape. Previous attempts at performing 3D shape control rely on hand-crafted features to represent the object shape and require training of object-specific control models. We overcome these issues through the use of our novel DeformerNet neural network architecture, which operates on a partial-view point cloud of the manipulated object and a point cloud of the goal shape to learn a low-dimensional representation of the object shape. This shape embedding enables the robot to learn a visual servo controller that computes the desired robot end-effector action to iteratively deform the object toward the target shape. We demonstrate both in simulation and on a physical robot that DeformerNet reliably generalizes to object shapes and material stiffness not seen during training, including ex vivo chicken muscle tissue. Crucially, using DeformerNet, the robot successfully accomplishes three surgical sub-tasks: retraction (moving tissue aside to access a site underneath it), tissue wrapping (a sub-task in procedures like aortic stent placements), and connecting two tubular pieces of tissue (a sub-task in anastomosis).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google