Fast Point Cloud to Mesh Reconstruction for Deformable Object Tracking

要約

私たちの周りの世界には、私たちが知覚し、器用な手の動きで変形させる柔らかい物体が溢れています。
ロボットハンドが柔らかい物体を制御するには、変形する物体のオンライン状態フィードバックを取得する必要があります。
RGB-D カメラは、遮蔽された点群を 30Hz の速度で収集できますが、これは継続的に追跡可能なオブジェクトの表面を表すものではありません。
そこで本研究では、物体を変形させていない状態のメッシュであるテンプレートメッシュと、同じ物体を変形させた点群を入力とし、テンプレートメッシュが一致するように整形する手法を開発した。
変形した点群。
点群からのメッシュの再構成は、コンピュータ グラフィックスの分野で 3D 再構成および 4D 再構成として長年研究されてきましたが、どちらもロボット工学アプリケーションに必要な速度と汎用性が不足しています。
私たちのモデルは、点群自動エンコーダーと Real-NVP アーキテクチャを使用して設計されています。
私たちのトレーニングされたモデルは、3000 頂点のテンプレート メッシュと 5000 点の変形点群に対して 58Hz のレートでメッシュの再構築と追跡を実行でき、柔らかい素材で作られていると想定される 6 つの異なるオブジェクト カテゴリの変形に一般化できます。
私たちの実験（ハサミ、ハンマー、発泡レンガ、洗剤ボトル、オレンジ、サイコロ）。
オブジェクト メッシュは、YCB ベンチマーク データセットから取得されます。
下流アプリケーションのインスタンスは、閉ループ方式でのオンライン把握適応を可能にする、操作対象の状態からのオンライン フィードバックを必要とするロボット ハンドの制御アルゴリズムです。
さらに、私たちの方法の追跡能力は、マーカーを使用しないアプローチで変形物体のシステム識別に役立ちます。
今後の作業では、トレーニングされたモデルを拡張して、6 つのオブジェクト カテゴリを超えて、さらに現実世界の変形点群にも一般化する予定です。

要約(オリジナル)

The world around us is full of soft objects we perceive and deform with dexterous hand movements. For a robotic hand to control soft objects, it has to acquire online state feedback of the deforming object. While RGB-D cameras can collect occluded point clouds at a rate of 30Hz, this does not represent a continuously trackable object surface. Hence, in this work, we developed a method that takes as input a template mesh which is the mesh of an object in its non-deformed state and a deformed point cloud of the same object, and then shapes the template mesh such that it matches the deformed point cloud. The reconstruction of meshes from point clouds has long been studied in the field of Computer graphics under 3D reconstruction and 4D reconstruction, however, both lack the speed and generalizability needed for robotics applications. Our model is designed using a point cloud auto-encoder and a Real-NVP architecture. Our trained model can perform mesh reconstruction and tracking at a rate of 58Hz on a template mesh of 3000 vertices and a deformed point cloud of 5000 points and is generalizable to the deformations of six different object categories which are assumed to be made of soft material in our experiments (scissors, hammer, foam brick, cleanser bottle, orange, and dice). The object meshes are taken from the YCB benchmark dataset. An instance of a downstream application can be the control algorithm for a robotic hand that requires online feedback from the state of the manipulated object which would allow online grasp adaptation in a closed-loop manner. Furthermore, the tracking capacity of our method can help in the system identification of deforming objects in a marker-free approach. In future work, we will extend our trained model to generalize beyond six object categories and additionally to real-world deforming point clouds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google