SLS4D: Sparse Latent Space for 4D Novel View Synthesis

要約

Neural Radiance Field (NeRF) は、静的シナリオの新しいビュー合成と 3D 表現で大きな成功を収めました。
既存の動的 NeRF は通常、局所的に密なグリッドを利用して変形フィールドに適合します。
ただし、それらは全体的なダイナミクスを捉えることができず、それに伴って重いパラメーターのモデルが生成されます。
4D 空間は本質的に疎であることがわかります。
第一に、変形フィールドは空間的には疎ですが、動きの連続性により時間的には密です。
第 2 に、放射輝度フィールドは下にあるシーンの表面でのみ有効であり、通常は空間全体のごく一部を占めます。
したがって、私たちは学習可能な疎な潜在空間、別名 SLS4D を使用して 4D シーンを表現することを提案します。
具体的には、SLS4D はまず、高密度の学習可能なタイムスロット特徴を使用して時間空間を描写し、そこから変形フィールドを線形多層認識 (MLP) に適合させて、いつでも 3D 位置の変位を予測します。
次に、別の疎な潜在空間を使用して 3D 位置の空間特徴を学習します。
これは、アテンション メカニズムを使用して各潜在コードの適応重みを学習することによって実現されます。
広範な実験により、SLS4D の有効性が実証されました。SLS4D は、最新の作業の約 $6\%$ パラメータのみを使用して、最高の 4D ノベル ビュー合成を実現します。

要約(オリジナル)

Neural radiance field (NeRF) has achieved great success in novel view synthesis and 3D representation for static scenarios. Existing dynamic NeRFs usually exploit a locally dense grid to fit the deformation field; however, they fail to capture the global dynamics and concomitantly yield models of heavy parameters. We observe that the 4D space is inherently sparse. Firstly, the deformation field is sparse in spatial but dense in temporal due to the continuity of of motion. Secondly, the radiance field is only valid on the surface of the underlying scene, usually occupying a small fraction of the whole space. We thus propose to represent the 4D scene using a learnable sparse latent space, a.k.a. SLS4D. Specifically, SLS4D first uses dense learnable time slot features to depict the temporal space, from which the deformation field is fitted with linear multi-layer perceptions (MLP) to predict the displacement of a 3D position at any time. It then learns the spatial features of a 3D position using another sparse latent space. This is achieved by learning the adaptive weights of each latent code with the attention mechanism. Extensive experiments demonstrate the effectiveness of our SLS4D: it achieves the best 4D novel view synthesis using only about $6\%$ parameters of the most recent work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google