DynIBaR: Neural Dynamic Image-Based Rendering

要約

タイトル： DynIBaR：ニューラルダイナミックイメージベースのレンダリング
要約：
– 複雑な動的シーンを描いた単眼ビデオから新しい視点を合成する問題に取り組む。
– いわゆるダイナミックNeRFをベースにした最新の手法は、このタスクにおいて印象的な結果を示している。
– しかし、複雑なオブジェクトの動きや無制御なカメラの軌跡を持つ長いビデオに対しては、これらの方法では不正確なレンダリングを生じることがあるため、実世界の応用に制約がある。
– MLPの重み内に全体の動的シーンをエンコードする代わりに、近隣の視点から特徴を集約するボリューメトリックな画像ベースのレンダリングフレームワークを採用して、シーンモーションによく注意した方法で新しい視点を合成する新しいアプローチを提案する。
– このシステムは、複雑なシーンと視点依存の効果をモデル化する能力に加えて、無制限のカメラ軌跡を持つ動的シーンの長いビデオからフォトリアリスティックな新しい視点を合成することを可能にする。
– 動的シーンのデータセットで最新の手法よりも大幅に改善を示し、カメラやオブジェクトの動きに課題のある野外ビデオにも適用し、従来の方法では高品質のレンダリングを生成できないことを確認した。我々のプロジェクトのウェブページはdynibar.github.ioにあります。

要約(オリジナル)

We address the problem of synthesizing novel views from a monocular video depicting a complex dynamic scene. State-of-the-art methods based on temporally varying Neural Radiance Fields (aka dynamic NeRFs) have shown impressive results on this task. However, for long videos with complex object motions and uncontrolled camera trajectories, these methods can produce blurry or inaccurate renderings, hampering their use in real-world applications. Instead of encoding the entire dynamic scene within the weights of MLPs, we present a new approach that addresses these limitations by adopting a volumetric image-based rendering framework that synthesizes new viewpoints by aggregating features from nearby views in a scene-motion-aware manner. Our system retains the advantages of prior methods in its ability to model complex scenes and view-dependent effects, but also enables synthesizing photo-realistic novel views from long videos featuring complex scene dynamics with unconstrained camera trajectories. We demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets, and also apply our approach to in-the-wild videos with challenging camera and object motion, where prior methods fail to produce high-quality renderings. Our project webpage is at dynibar.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI