Fast Dynamic Radiance Fields with Time-Aware Neural Voxels

要約

ニューラル ラジアンス フィールド (NeRF) は、3D シーンのモデリングと新規ビュー画像の合成に大きな成功を収めています。
ただし、これまでの NeRF 手法のほとんどは、1 つのシーンを最適化するのに多くの時間を要していました。
明示的なデータ構造。
ボクセル機能は、トレーニング プロセスを加速する大きな可能性を示しています。
ただし、ボクセル機能を動的シーンに適用するには、2 つの大きな課題に直面します。つまり、時間情報のモデリングと、異なるスケールのポイント モーションのキャプチャです。
TiNeuVox と呼ばれる時間認識ボクセル機能を使用してシーンを表すことにより、放射輝度フィールド フレームワークを提案します。
粗い動きの軌跡をモデル化するために小さな座標変形ネットワークが導入され、放射輝度ネットワークで時間情報がさらに強化されます。
多距離補間法が提案され、ボクセル機能に適用されて、小さな動きと大きな動きの両方をモデル化します。
私たちのフレームワークは、高いレンダリング品質を維持しながら、動的な放射輝度フィールドの最適化を大幅に加速します。
経験的評価は、合成シーンと実際のシーンの両方で実行されます。
当社の TiNeuVox は、わずか 8 分と 8 MB のストレージ コストでトレーニングを完了し、以前の動的 NeRF メソッドと同等またはそれ以上のレンダリング パフォーマンスを示します。

要約(オリジナル)

Neural radiance fields (NeRF) have shown great success in modeling 3D scenes and synthesizing novel-view images. However, most previous NeRF methods take much time to optimize one single scene. Explicit data structures, e.g. voxel features, show great potential to accelerate the training process. However, voxel features face two big challenges to be applied to dynamic scenes, i.e. modeling temporal information and capturing different scales of point motions. We propose a radiance field framework by representing scenes with time-aware voxel features, named as TiNeuVox. A tiny coordinate deformation network is introduced to model coarse motion trajectories and temporal information is further enhanced in the radiance network. A multi-distance interpolation method is proposed and applied on voxel features to model both small and large motions. Our framework significantly accelerates the optimization of dynamic radiance fields while maintaining high rendering quality. Empirical evaluation is performed on both synthetic and real scenes. Our TiNeuVox completes training with only 8 minutes and 8-MB storage cost while showing similar or even better rendering performance than previous dynamic NeRF methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google