DynIBaR: Neural Dynamic Image-Based Rendering

要約

複雑な動的シーンを描いた単眼ビデオから新しいビューを合成する問題に対処します。
時間的に変化するニューラル ラディアンス フィールド (別名動的 NeRF) に基づく最先端の方法は、このタスクで印象的な結果を示しています。
ただし、オブジェクトの動きが複雑でカメラの軌跡が制御されていない長いビデオの場合、これらの方法ではレンダリングがぼやけたり不正確になったりする可能性があり、実際のアプリケーションでの使用が妨げられます。
ダイナミック シーン全体を MLP の重みでエンコードする代わりに、シーンの動きを認識した方法で近くのビューから特徴を集約することで新しい視点を合成するボリューム画像ベースのレンダリング フレームワークを採用することで、これらの制限に対処する新しいアプローチを提示します。
.
私たちのシステムは、複雑なシーンとビューに依存する効果をモデル化する能力において以前の方法の利点を保持していますが、制約のないカメラ軌道を備えた複雑なシーンのダイナミクスを特徴とする長いビデオから写真のようにリアルな新しいビューを合成することもできます。
動的なシーン データセットで最先端の方法を大幅に改善したことを示します。また、従来の方法では高品質のレンダリングを生成できない、難しいカメラやオブジェクトの動きを伴う野生のビデオにもアプローチを適用します。
プロジェクトのウェブページは dynibar.github.io にあります。

要約(オリジナル)

We address the problem of synthesizing novel views from a monocular video depicting a complex dynamic scene. State-of-the-art methods based on temporally varying Neural Radiance Fields (aka dynamic NeRFs) have shown impressive results on this task. However, for long videos with complex object motions and uncontrolled camera trajectories, these methods can produce blurry or inaccurate renderings, hampering their use in real-world applications. Instead of encoding the entire dynamic scene within the weights of an MLP, we present a new approach that addresses these limitations by adopting a volumetric image-based rendering framework that synthesizes new viewpoints by aggregating features from nearby views in a scene-motion-aware manner. Our system retains the advantages of prior methods in its ability to model complex scenes and view-dependent effects, but also enables synthesizing photo-realistic novel views from long videos featuring complex scene dynamics with unconstrained camera trajectories. We demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets, and also apply our approach to in-the-wild videos with challenging camera and object motion, where prior methods fail to produce high-quality renderings. Our project webpage is at dynibar.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google