BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video

要約

ボリューム測定ビデオは、動的な3Dシーンをキャプチャし、仮想現実、教育、テレペランスのための多様なアプリケーションを可能にすることにより、没入型のエクスペリエンスを可能にします。
ただし、従来の方法は固定照明条件と闘っていますが、神経アプローチは、信頼できるシナリオの効率、品質、または適応性のトレードオフに直面しています。
これらの制限に対処するために、マルチビューRGB映像から高品質で信頼できるボリュームビデオビデオを生成するために、物理ベースのレンダリング（PBR）を備えた4Dガウス表現を橋渡しする新しいパイプラインであるBeam​​を提示します。
Beamは、利用可能な一連のガウスベースの手法を介して、詳細なジオメトリとPBR特性を回復します。
まず、ガウスベースのパフォーマンス追跡と、粗から洗練された最適化フレームワークでのジオメトリを意識したラスター化を組み合わせて、空間的および時間的に一貫したジオメトリを回復します。
PBRプロパティを段階的に組み込むことにより、ガウス属性をさらに強化します。
マルチビュー条件付き拡散モデルを介して粗さを生成し、2Dツー3D戦略を使用してAOとベースの色を導き出し、効率的な視認性計算のためにテーラードガウスベースのレイトレーサーを組み込んでいます。
回復すると、これらの動的で信頼できる資産は、従来のCGパイプラインにシームレスに統合され、延期されたシェーディングとレイトレースによるオフラインレンダリングでリアルタイムレンダリングをサポートします。
ビームは、多様な照明条件下で現実的でリアルな視覚化を提供することにより、インタラクティブなエンターテイメント、ストーリーテリング、創造的な視覚化のための新しい可能性を開きます。

要約(オリジナル)

Volumetric video enables immersive experiences by capturing dynamic 3D scenes, enabling diverse applications for virtual reality, education, and telepresence. However, traditional methods struggle with fixed lighting conditions, while neural approaches face trade-offs in efficiency, quality, or adaptability for relightable scenarios. To address these limitations, we present BEAM, a novel pipeline that bridges 4D Gaussian representations with physically-based rendering (PBR) to produce high-quality, relightable volumetric videos from multi-view RGB footage. BEAM recovers detailed geometry and PBR properties via a series of available Gaussian-based techniques. It first combines Gaussian-based performance tracking with geometry-aware rasterization in a coarse-to-fine optimization framework to recover spatially and temporally consistent geometries. We further enhance Gaussian attributes by incorporating PBR properties step by step. We generate roughness via a multi-view-conditioned diffusion model, and then derive AO and base color using a 2D-to-3D strategy, incorporating a tailored Gaussian-based ray tracer for efficient visibility computation. Once recovered, these dynamic, relightable assets integrate seamlessly into traditional CG pipelines, supporting real-time rendering with deferred shading and offline rendering with ray tracing. By offering realistic, lifelike visualizations under diverse lighting conditions, BEAM opens new possibilities for interactive entertainment, storytelling, and creative visualization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google