DRSM: efficient neural 4d decomposition for dynamic reconstruction in stationary monocular cameras

要約

ビデオ共有やライブ ブロードキャスト アプリケーションによって生成される単眼ビデオの人気により、固定単眼カメラでの動的なシーンの再構成と編集は特殊ではありますが、期待されているテクノロジーとなっています。
複数の視点からの観察を利用するシーンの再構成とは対照的に、単一の視点から動的シーンをモデル化する問題は、制約が大幅に低く、不適切に設定されています。
ニューラル レンダリングの最近の進歩に触発されて、単眼カメラの動的シーンの 4D 分解問題に取り組むための新しいフレームワークを紹介します。
私たちのフレームワークは、分解された静的および動的フィーチャ プレーンを利用して 4D シーンを表現し、高密度レイ キャスティングによる動的領域の学習に重点を置いています。
単一ビューとオクルージョンからの不十分な 3D 手がかりも、シーンの再構築における特有の課題です。
これらの問題を克服するために、私たちは深い教師あり最適化とレイキャスティング戦略を提案します。
さまざまなビデオでの実験により、私たちの方法は、単一ビューの動的シーン表現の既存の方法よりも忠実度の高い結果を生成します。

要約(オリジナル)

With the popularity of monocular videos generated by video sharing and live broadcasting applications, reconstructing and editing dynamic scenes in stationary monocular cameras has become a special but anticipated technology. In contrast to scene reconstructions that exploit multi-view observations, the problem of modeling a dynamic scene from a single view is significantly more under-constrained and ill-posed. Inspired by recent progress in neural rendering, we present a novel framework to tackle 4D decomposition problem for dynamic scenes in monocular cameras. Our framework utilizes decomposed static and dynamic feature planes to represent 4D scenes and emphasizes the learning of dynamic regions through dense ray casting. Inadequate 3D clues from a single-view and occlusion are also particular challenges in scene reconstruction. To overcome these difficulties, we propose deep supervised optimization and ray casting strategies. With experiments on various videos, our method generates higher-fidelity results than existing methods for single-view dynamic scene representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google