Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur

要約

タイトル：モーションブラーを含む大規模なシーンのハイブリッドニューラルレンダリング

要約：
– 多くのアプリケーションで、新しい視点のイメージをレンダリングすることは望ましい。
– しかし、最近の進歩にもかかわらず、野外で撮影された大規模なシーンの高品質で一貫した新しい視点をレンダリングするのは依然として課題である。
– そこで、ハイブリッドニューラルレンダリングモデルを開発し、イメージベースの表現とニューラル3D表現を併用して高品質で一貫したイメージをレンダリングする。
– また、野外で撮影されたイメージには、モーションブラーなどのアーティファクトが不可避に含まれており、これらはレンダリングされたイメージの品質を低下させる。
– このため、レンダリングされたイメージにブラー効果をシミュレートする戦略を提案し、事前に計算された品質重点重みをもとにトレーニング中にブレイマージの重要性を低減する。
– 実験の結果、このモデルは実際のデータと合成データの両方で、従来のポイントベースの方法を上回り、新しい視点の合成における最新技術となっている。
– コードはhttps://daipengwa.github.io/Hybrid-Rendering-ProjectPageで入手可能。

要約(オリジナル)

Rendering novel view images is highly desirable for many applications. Despite recent progress, it remains challenging to render high-fidelity and view-consistent novel views of large-scale scenes from in-the-wild images with inevitable artifacts (e.g., motion blur). To this end, we develop a hybrid neural rendering model that makes image-based representation and neural 3D representation join forces to render high-quality, view-consistent images. Besides, images captured in the wild inevitably contain artifacts, such as motion blur, which deteriorates the quality of rendered images. Accordingly, we propose strategies to simulate blur effects on the rendered images to mitigate the negative influence of blurriness images and reduce their importance during training based on precomputed quality-aware weights. Extensive experiments on real and synthetic data demonstrate our model surpasses state-of-the-art point-based methods for novel view synthesis. The code is available at https://daipengwa.github.io/Hybrid-Rendering-ProjectPage.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI