Building Rearticulable Models for Arbitrary 3D Objects from 4D Point Clouds

要約

私たちは、1 自由度の関節を介して任意の方法で接続された任意の数の部品を含む、日常的に使用される任意の人工物体の再関節可能なモデルを構築します。
このような日常の物体の点群ビデオが与えられると、私たちの方法は、オブジェクトの個別の部分、どの部分が他のどの部分に接続されているか、各部分のペアを接続するジョイントのプロパティを識別します。
これは、新しいエネルギー最小化フレームワークを使用して部品のセグメント化、変換、運動学を共同で最適化することで実現されます。
私たちの推論されたアニメーション可能モデルは、まばらな点対応ガイダンスを使用して、新しいポーズにリターゲットすることを可能にします。
新しい多関節ロボット データセット、一般的な日常の物体を含むサピエンス データセット、および実世界のスキャンでメソッドをテストします。
実験では、私たちの方法がさまざまな指標に関して 2 つの主要な先行研究よりも優れていることが示されています。

要約(オリジナル)

We build rearticulable models for arbitrary everyday man-made objects containing an arbitrary number of parts that are connected together in arbitrary ways via 1 degree-of-freedom joints. Given point cloud videos of such everyday objects, our method identifies the distinct object parts, what parts are connected to what other parts, and the properties of the joints connecting each part pair. We do this by jointly optimizing the part segmentation, transformation, and kinematics using a novel energy minimization framework. Our inferred animatable models, enables retargeting to novel poses with sparse point correspondences guidance. We test our method on a new articulating robot dataset, and the Sapiens dataset with common daily objects, as well as real-world scans. Experiments show that our method outperforms two leading prior works on various metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google