Forward Flow for Novel View Synthesis of Dynamic Scenes

要約

この論文では、フォワードワーピングを使用した動的シーンの新しいビュー合成のためのニューラル放射フィールド (NeRF) アプローチを提案します。
既存の方法では、多くの場合、静的 NeRF を採用して正準空間を表現し、サンプリングされた 3D ポイントを学習された逆流場を使用して正準空間にマッピングすることによって、他のタイム ステップで動的画像をレンダリングします。
ただし、この逆流場は非滑らかで不連続であるため、一般的に使用される滑らかな運動モデルに適合させるのは困難です。
この問題に対処するために、順方向の流れ場を推定し、正準放射輝度場を他のタイム ステップに直接ワープすることを提案します。
このような順流場はオブジェクト領域内で滑らかかつ連続的であるため、運動モデルの学習に役立ちます。
この目標を達成するために、正規放射輝度フィールドをボクセル グリッドで表して効率的な順方向ワーピングを可能にし、多対 1 と 1 対
多くのマッピングの問題。
徹底的な実験により、私たちの方法が新しいビューレンダリングとモーションモデリングの両方で既存の方法よりも優れていることが示され、順方向フローモーションモデリングの有効性が実証されています。
プロジェクトページ: https://npucvr.github.io/ForwardFlowDNeRF

要約(オリジナル)

This paper proposes a neural radiance field (NeRF) approach for novel view synthesis of dynamic scenes using forward warping. Existing methods often adopt a static NeRF to represent the canonical space, and render dynamic images at other time steps by mapping the sampled 3D points back to the canonical space with the learned backward flow field. However, this backward flow field is non-smooth and discontinuous, which is difficult to be fitted by commonly used smooth motion models. To address this problem, we propose to estimate the forward flow field and directly warp the canonical radiance field to other time steps. Such forward flow field is smooth and continuous within the object region, which benefits the motion model learning. To achieve this goal, we represent the canonical radiance field with voxel grids to enable efficient forward warping, and propose a differentiable warping process, including an average splatting operation and an inpaint network, to resolve the many-to-one and one-to-many mapping issues. Thorough experiments show that our method outperforms existing methods in both novel view rendering and motion modeling, demonstrating the effectiveness of our forward flow motion modeling. Project page: https://npucvr.github.io/ForwardFlowDNeRF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google