Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video

要約

動的放射フィールドは、単眼ビデオから新しいビューを生成するための有望なアプローチとして浮上しています。
しかし、これまでの手法では、動的放射輝度フィールドに対する幾何学的な一貫性を隣接する入力フレーム間でのみ強制するため、グローバルなシーンの幾何学形状を表現することが困難であり、入力カメラの軌跡から時空間的に離れた視点では縮退してしまいます。
この問題を解決するために、ポイントベースの動的放射フィールド (\textbf{Point-DynRF}) を導入します。これは、グローバルな幾何学的情報とボリューム レンダリング プロセスがそれぞれニューラル点群と動的放射フィールドによってトレーニングされる新しいフレームワークです。
具体的には、幾何学的プロキシから直接神経点群を再構築し、提案された損失を使用して放射輝度フィールドと幾何学的プロキシの両方を最適化し、それらを相互に補完できるようにします。
NVIDIA ダイナミック シーン データセットと因果的にキャプチャされたいくつかの単眼ビデオ クリップに対する実験により、この方法の有効性を検証します。

要約(オリジナル)

Dynamic radiance fields have emerged as a promising approach for generating novel views from a monocular video. However, previous methods enforce the geometric consistency to dynamic radiance fields only between adjacent input frames, making it difficult to represent the global scene geometry and degenerates at the viewpoint that is spatio-temporally distant from the input camera trajectory. To solve this problem, we introduce point-based dynamic radiance fields (\textbf{Point-DynRF}), a novel framework where the global geometric information and the volume rendering process are trained by neural point clouds and dynamic radiance fields, respectively. Specifically, we reconstruct neural point clouds directly from geometric proxies and optimize both radiance fields and the geometric proxies using our proposed losses, allowing them to complement each other. We validate the effectiveness of our method with experiments on the NVIDIA Dynamic Scenes Dataset and several causally captured monocular video clips.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google