Articulate your NeRF: Unsupervised articulated object modeling via conditional view synthesis

要約

我々は、剛体パーツを備えた多関節オブジェクトの姿勢とパーツセグメンテーションを学習するための新しい教師なし方法を提案します。
異なる関節状態にあるオブジェクトの 2 つの観測が与えられた場合、私たちの方法は最初の観測から暗黙的モデルを使用してオブジェクトのパーツの形状と外観を学習し、2 番目の観測からパーツのセグメンテーションと関節を抽出しながら、後者の観測をレンダリングします。
さらに、パーツのセグメンテーションとアーティキュレーションの共同最適化における複雑さに対処するために、ボクセル グリッド ベースの初期化戦略と分離された最適化手順を提案します。
以前の教師なしの作業と比較して、私たちのモデルは大幅に優れたパフォーマンスを獲得し、複数の部分を持つオブジェクトに一般化しますが、後者の観察では少数のビューから効率的に行うことができます。

要約(オリジナル)

We propose a novel unsupervised method to learn the pose and part-segmentation of articulated objects with rigid parts. Given two observations of an object in different articulation states, our method learns the geometry and appearance of object parts by using an implicit model from the first observation, distils the part segmentation and articulation from the second observation while rendering the latter observation. Additionally, to tackle the complexities in the joint optimization of part segmentation and articulation, we propose a voxel grid-based initialization strategy and a decoupled optimization procedure. Compared to the prior unsupervised work, our model obtains significantly better performance, and generalizes to objects with multiple parts while it can be efficiently from few views for the latter observation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google