Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design

要約

タイトル: アルゴリズムとハードウェアの共同設計による効率的かつ汎用性の高いニューラル輝度場（NeRF）での画像合成（Gen-NeRF）

要約:

– NeRFを用いた画像合成は、AR/VRアプリケーションで没入型の体験を可能にする上で必要不可欠な機能となっている。
– NeRFは、横断的な場面の一般化能力があるため人気があり、これにより、様々なシーンでのニューラル輝度場の展開が可能になってきている。
– しかし、必要なシーンの特徴を取得するために必要な大量のメモリアクセスにより、NeRFの展開には制限がある。
– これを解決するために、アルゴリズムとハードウェアの共同設計によるGen-NeRFフレームワークが提案された。
– Gen-NeRFは、異なる領域がレンダリングされたピクセルに異なる寄与をしているという事実を利用し、スパースかつ効果的なサンプリングを可能にする粗視化-フォーカスサンプリング戦略を統合している。
– 加速器マイクロアーキテクチャを強調することで異なるレイの間でデータ再利用の機会を最大限に活用し、Gen-NeRFアクセラレータを実現している。
– また、ハードウェア側には、ポイントからハードウェアへのマッピング中のデータ局所性を向上させるためのカスタマイズされたデータフローと、メモリバンクの競合を最小限に抑えるための最適化されたシーン特徴ストレージ戦略がある。
– 幅広い実験により、Gen-NeRFフレームワークがリアルタイムでの一般的な画像合成を可能にすることが確認された。

要約(オリジナル)

Novel view synthesis is an essential functionality for enabling immersive experiences in various Augmented- and Virtual-Reality (AR/VR) applications, for which generalizable Neural Radiance Fields (NeRFs) have gained increasing popularity thanks to their cross-scene generalization capability. Despite their promise, the real-device deployment of generalizable NeRFs is bottlenecked by their prohibitive complexity due to the required massive memory accesses to acquire scene features, causing their ray marching process to be memory-bounded. To this end, we propose Gen-NeRF, an algorithm-hardware co-design framework dedicated to generalizable NeRF acceleration, which for the first time enables real-time generalizable NeRFs. On the algorithm side, Gen-NeRF integrates a coarse-then-focus sampling strategy, leveraging the fact that different regions of a 3D scene contribute differently to the rendered pixel, to enable sparse yet effective sampling. On the hardware side, Gen-NeRF highlights an accelerator micro-architecture to maximize the data reuse opportunities among different rays by making use of their epipolar geometric relationship. Furthermore, our Gen-NeRF accelerator features a customized dataflow to enhance data locality during point-to-hardware mapping and an optimized scene feature storage strategy to minimize memory bank conflicts. Extensive experiments validate the effectiveness of our proposed Gen-NeRF framework in enabling real-time and generalizable novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI