Template-free Articulated Neural Point Clouds for Reposable View Synthesis

要約

Dynamic Neural Radiance Fields (NeRF) は、時間とともに進化する 3D シーンの新しいビューを合成する際に、驚くべき視覚品質を実現します。
ただし、一般的に後方変形フィールドに依存しているため、キャプチャされたオブジェクトのポーズを蘇生することが困難になります。
さらに、最先端の動的モデルは、視覚的な忠実度が低いこと、再構築に長い時間がかかること、または狭いアプリケーション領域への特異性によって制限されることがよくあります。
この論文では、点ベースの表現と線形ブレンド スキニング (LBS) を利用して、まばらなマルチビュー ビデオから動的 NeRF と関連する骨格モデルを共同で学習する新しい方法を紹介します。
私たちのフォワードワーピングアプローチは、既存の作業と比較して必要な学習時間を大幅に短縮しながら、新しいビューやポーズを合成する際に最先端の視覚的忠実度を実現します。
私たちは、一般的なデータセットからのさまざまな関節オブジェクトに対する表現の多用途性を実証し、オブジェクト固有の骨格テンプレートを必要とせずに再使用可能な 3D 再構成を取得します。
コードは https://github.com/lukasuz/Articulated-Point-NeRF で利用可能になります。

要約(オリジナル)

Dynamic Neural Radiance Fields (NeRFs) achieve remarkable visual quality when synthesizing novel views of time-evolving 3D scenes. However, the common reliance on backward deformation fields makes reanimation of the captured object poses challenging. Moreover, the state of the art dynamic models are often limited by low visual fidelity, long reconstruction time or specificity to narrow application domains. In this paper, we present a novel method utilizing a point-based representation and Linear Blend Skinning (LBS) to jointly learn a Dynamic NeRF and an associated skeletal model from even sparse multi-view video. Our forward-warping approach achieves state-of-the-art visual fidelity when synthesizing novel views and poses while significantly reducing the necessary learning time when compared to existing work. We demonstrate the versatility of our representation on a variety of articulated objects from common datasets and obtain reposable 3D reconstructions without the need of object-specific skeletal templates. Code will be made available at https://github.com/lukasuz/Articulated-Point-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google