SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

要約

リアルタイム ビュー合成の最近の技術は、忠実度と速度が急速に進歩しており、最新の方法では、インタラクティブなフレーム レートでフォトリアリスティックに近いシーンをレンダリングできます。
同時に、ラスタライゼーションに適した明示的なシーン表現と、レイ マーチングに基づいて構築されたニューラル フィールドとの間に緊張が生じており、後者の最先端のインスタンスは品質において前者を上回っていますが、リアルタイム アプリケーションとしては法外に高価です。
。
この研究では、体積解像度3.5 mm$^3で最大300 m$^2$のフットプリントを持つ大規模なシーンでリアルタイム手法の中でも最先端の精度を達成するビュー合成アプローチであるSMERFを紹介します。
$。
私たちの手法は 2 つの主な貢献に基づいて構築されています。1 つは計算とメモリの消費を制限しながらモデルの容量を増加させる階層モデル分割スキーム、もう 1 つは高い忠実性と内部一貫性を同時にもたらす蒸留トレーニング戦略です。
私たちのアプローチにより、Web ブラウザー内で完全な 6 自由度 (6DOF) のナビゲーションが可能になり、市販のスマートフォンやラップトップでリアルタイムにレンダリングが可能になります。
広範な実験の結果、私たちの方法はリアルタイムのノベルビュー合成における現在の最先端技術を標準ベンチマークで 0.78 dB、大規模シーンで 1.78 dB 上回り、フレームのレンダリングが最先端のものより 3 桁高速であることがわかりました。
アート ラディアンス フィールド モデルを構築し、スマートフォンを含むさまざまなコモディティ デバイスにわたってリアルタイム パフォーマンスを実現します。
読者には、プロジェクト Web サイト https://smerf-3d.github.io でこれらのモデルを対話的に探索することをお勧めします。

要約(オリジナル)

Recent techniques for real-time view synthesis have rapidly advanced in fidelity and speed, and modern methods are capable of rendering near-photorealistic scenes at interactive frame rates. At the same time, a tension has arisen between explicit scene representations amenable to rasterization and neural fields built on ray marching, with state-of-the-art instances of the latter surpassing the former in quality while being prohibitively expensive for real-time applications. In this work, we introduce SMERF, a view synthesis approach that achieves state-of-the-art accuracy among real-time methods on large scenes with footprints up to 300 m$^2$ at a volumetric resolution of 3.5 mm$^3$. Our method is built upon two primary contributions: a hierarchical model partitioning scheme, which increases model capacity while constraining compute and memory consumption, and a distillation training strategy that simultaneously yields high fidelity and internal consistency. Our approach enables full six degrees of freedom (6DOF) navigation within a web browser and renders in real-time on commodity smartphones and laptops. Extensive experiments show that our method exceeds the current state-of-the-art in real-time novel view synthesis by 0.78 dB on standard benchmarks and 1.78 dB on large scenes, renders frames three orders of magnitude faster than state-of-the-art radiance field models, and achieves real-time performance across a wide variety of commodity devices, including smartphones. We encourage readers to explore these models interactively at our project website: https://smerf-3d.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google