NeRFlex: Resource-aware Real-time High-quality Rendering of Complex Scenes on Mobile Devices

要約

Neural Radiance Fields（NeRF）は、3D再構成における新しいビュー合成のための、ニューラルネットワークに基づく最先端の技術である。しかし、その大きな計算負荷は、モバイル機器への展開に課題をもたらします。メッシュベースのNeRFソリューションは、モバイルプラットフォーム上でリアルタイムレンダリングを実現する可能性を示していますが、実用的な複雑なシーンをレンダリングする場合、高品質の再構成を提供できないことがよくあります。さらに、事前に計算された中間結果による無視できないメモリ・オーバーヘッドが、実用的なアプリケーションを複雑にしている。これらの課題を克服するために、我々は、モバイルデバイス上の複雑なシーンのための、リソースを考慮した高解像度のリアルタイムレンダリングフレームワークであるNeRFlexを発表する。NeRFlexは、モバイルNeRFレンダリングをマルチNeRF表現と統合し、シーンを複数のサブシーンに分解し、それぞれを個別のNeRFネットワークで表現します。NeRFlexは、メモリ制約と計算制約の両方を第一級市民として考慮し、それに応じて再構成プロセスを再設計します。NeRFlexはまず、高周波数の詳細を持つサブシーンを特定するために、詳細指向のセグメンテーションモジュールを設計する。各NeRFネットワークに対して、ドメイン知識に基づいて構築された軽量プロファイラを使用して、構成を視覚的品質とメモリ使用量に正確にマッピングする。これらの洞察とモバイルデバイスのリソース制約に基づき、NeRFlexは、元の決定問題のNP困難性にもかかわらず、すべてのNeRF表現の構成を効率的に決定する動的計画アルゴリズムを提示する。実世界のデータセットとモバイルデバイスを用いた広範な実験により、NeRFlexが商用モバイルデバイス上でリアルタイムかつ高品質なレンダリングを実現することが実証された。

要約(オリジナル)

Neural Radiance Fields (NeRF) is a cutting-edge neural network-based technique for novel view synthesis in 3D reconstruction. However, its significant computational demands pose challenges for deployment on mobile devices. While mesh-based NeRF solutions have shown potential in achieving real-time rendering on mobile platforms, they often fail to deliver high-quality reconstructions when rendering practical complex scenes. Additionally, the non-negligible memory overhead caused by pre-computed intermediate results complicates their practical application. To overcome these challenges, we present NeRFlex, a resource-aware, high-resolution, real-time rendering framework for complex scenes on mobile devices. NeRFlex integrates mobile NeRF rendering with multi-NeRF representations that decompose a scene into multiple sub-scenes, each represented by an individual NeRF network. Crucially, NeRFlex considers both memory and computation constraints as first-class citizens and redesigns the reconstruction process accordingly. NeRFlex first designs a detail-oriented segmentation module to identify sub-scenes with high-frequency details. For each NeRF network, a lightweight profiler, built on domain knowledge, is used to accurately map configurations to visual quality and memory usage. Based on these insights and the resource constraints on mobile devices, NeRFlex presents a dynamic programming algorithm to efficiently determine configurations for all NeRF representations, despite the NP-hardness of the original decision problem. Extensive experiments on real-world datasets and mobile devices demonstrate that NeRFlex achieves real-time, high-quality rendering on commercial mobile devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL