Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design

要約

タイトル：アルゴリズム-ハードウェア共同設計による効率的で汎用性のあるニューラル放射場（Gen-NeRF）：

要約：

– 新しい視点合成は、様々な拡張現実（AR）/仮想現実（VR）アプリケーションで没入型体験を実現するために必要な機能であり、その汎用性の高いニューラル放射場（NeRF）は、横断的なシーンの一般化能力により、増加する人気を得ています。

– NeRFの展開が、必要なシーン特性の大規模なメモリアクセスによる複雑さによって制限され、レイマーチングプロセスがメモリバウンドであるため、Gen-NeRFというアルゴリズム-ハードウェア共同設計フレームワークを提案します。

– アルゴリズムの側面では、Gen-NeRFは、3Dシーンの異なる領域がレンダリングされるピクセルに異なる寄与をするという事実を活用し、疎ながら効果的なサンプリングを可能にする、粗いフォーカスサンプリング戦略を統合します。

– ハードウェア側面では、Gen-NeRFは、エピポーラジオメトリックな関係を利用して、異なるレイ間でデータ再利用の機会を最大限に活用するアクセラレータマイクロアーキテクチャを強調します。さらに、Gen-NeRFアクセラレータは、ポイントからハードウェアへのマッピング中のデータの局所性を高めるカスタマイズされたデータフローと、メモリバンクの競合を最小限に抑える最適化されたシーン特性のストレージ戦略を特長としています。

– 広範な実験により、提案されたGen-NeRFフレームワークが実時間で一般化に富んだ新しい視点合成を実現するための効果的な手法であることが検証されました。

要約(オリジナル)

Novel view synthesis is an essential functionality for enabling immersive experiences in various Augmented- and Virtual-Reality (AR/VR) applications, for which generalizable Neural Radiance Fields (NeRFs) have gained increasing popularity thanks to their cross-scene generalization capability. Despite their promise, the real-device deployment of generalizable NeRFs is bottlenecked by their prohibitive complexity due to the required massive memory accesses to acquire scene features, causing their ray marching process to be memory-bounded. To this end, we propose Gen-NeRF, an algorithm-hardware co-design framework dedicated to generalizable NeRF acceleration, which for the first time enables real-time generalizable NeRFs. On the algorithm side, Gen-NeRF integrates a coarse-then-focus sampling strategy, leveraging the fact that different regions of a 3D scene contribute differently to the rendered pixel, to enable sparse yet effective sampling. On the hardware side, Gen-NeRF highlights an accelerator micro-architecture to maximize the data reuse opportunities among different rays by making use of their epipolar geometric relationship. Furthermore, our Gen-NeRF accelerator features a customized dataflow to enhance data locality during point-to-hardware mapping and an optimized scene feature storage strategy to minimize memory bank conflicts. Extensive experiments validate the effectiveness of our proposed Gen-NeRF framework in enabling real-time and generalizable novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI