CA$^2$T-Net: Category-Agnostic 3D Articulation Transfer from Single Image

要約

本論文では、多関節オブジェクトの単一画像から静止状態（すなわち、無関節）の3Dモデルへ動きを伝達するニューラルネットワークアプローチを提案する。本ネットワークは、入力画像に示された関節を再現するために、オブジェクトの姿勢、パーツのセグメンテーション、対応するモーションパラメータを予測することを学習する。このネットワークは、画像と形状の埋め込みを共有する3つの異なるブランチで構成され、エンドツーエンドで学習される。従来の方法とは異なり、我々のアプローチは物体のトポロジーに依存せず、任意のカテゴリの物体を扱うことができる。合成データのみで学習させた本手法は、テスト時にメッシュの自動アニメーション、実画像からの動きの推測、機能的には似ているが幾何学的には異なる3Dモデルへの関節の移植に用いることができる。

要約(オリジナル)

We present a neural network approach to transfer the motion from a single image of an articulated object to a rest-state (i.e., unarticulated) 3D model. Our network learns to predict the object’s pose, part segmentation, and corresponding motion parameters to reproduce the articulation shown in the input image. The network is composed of three distinct branches that take a shared joint image-shape embedding and is trained end-to-end. Unlike previous methods, our approach is independent of the topology of the object and can work with objects from arbitrary categories. Our method, trained with only synthetic data, can be used to automatically animate a mesh, infer motion from real images, and transfer articulation to functionally similar but geometrically distinct 3D models at test time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL