HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling

要約

静止画のフォトリアリスティックビュー合成を可能にするボリュームシーン表現は、既存の6-DoFビデオ技術の基礎を形成している。しかし、これらの表現を駆動するボリュームレンダリング処理では、品質、レンダリング速度、メモリ効率の面で慎重なトレードオフが必要である。特に、既存の手法では、実世界の困難なシーンにおいて、リアルタイム性能、小さなメモリフットプリント、高品質なレンダリングを同時に達成することができません。これらの問題に対処するため、我々はHyperReel — 新しい6DoFビデオ表現 — を発表します。HyperReelの中核となるコンポーネントは以下の2つである。(1) 高解像度での高忠実度、高フレームレートレンダリングを可能にする光線条件付きサンプル予測ネットワーク、および (2) コンパクトでメモリ効率の良いダイナミックボリューム表現です。私たちの6-DoFビデオパイプラインは、小さなメモリ要件でビジュアル品質の面で先行および現代のアプローチと比較して最高のパフォーマンスを達成し、同時にカスタムCUDAコードなしでメガピクセル解像度で最大18フレーム/秒のレンダリングを実現しています。

要約(オリジナル)

Volumetric scene representations enable photorealistic view synthesis for static scenes and form the basis of several existing 6-DoF video techniques. However, the volume rendering procedures that drive these representations necessitate careful trade-offs in terms of quality, rendering speed, and memory efficiency. In particular, existing methods fail to simultaneously achieve real-time performance, small memory footprint, and high-quality rendering for challenging real-world scenes. To address these issues, we present HyperReel — a novel 6-DoF video representation. The two core components of HyperReel are: (1) a ray-conditioned sample prediction network that enables high-fidelity, high frame rate rendering at high resolutions and (2) a compact and memory efficient dynamic volume representation. Our 6-DoF video pipeline achieves the best performance compared to prior and contemporary approaches in terms of visual quality with small memory requirements, while also rendering at up to 18 frames-per-second at megapixel resolution without any custom CUDA code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL