4K4D: Real-Time 4D View Synthesis at 4K Resolution

要約

この論文は、4K 解像度でのダイナミック 3D シーンの高忠実度かつリアルタイムのビュー合成を対象としています。
最近、ダイナミック ビュー合成のいくつかの方法で、優れたレンダリング品質が示されています。
ただし、高解像度の画像をレンダリングする場合、速度は依然として制限されます。
この問題を克服するために、ハードウェア ラスター化をサポートし、前例のないレンダリング速度を可能にする 4D 点群表現である 4K4D を提案します。
私たちの表現は 4D フィーチャー グリッドに基づいて構築されているため、ポイントは自然に正規化され、堅牢に最適化できます。
さらに、効率を維持しながらレンダリング品質を大幅に向上させる、新しいハイブリッド外観モデルを設計します。
さらに、RGBビデオから提案されたモデルを効果的に学習するための微分可能な深さピーリングアルゴリズムを開発します。
実験の結果、RTX 4090 GPU を使用して、解像度 1080p の DNA-Rendering データセットでは 400 FPS 以上、4K 解像度の ENeRF-Outdoor データセットでは 80 FPS で表現をレンダリングできることがわかりました。これは、以前の方法より 30 倍高速であり、次の状態を達成します。
-最先端のレンダリング品質。
私たちのプロジェクト ページは https://zju3dv.github.io/4k4d/ から入手できます。

要約(オリジナル)

This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. Our project page is available at https://zju3dv.github.io/4k4d/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google