Expansive Supervision for Neural Radiance Field

要約

Neural Radiance Fields は、その優れた再構成機能により、強力な 3D メディア表現の作成に成功しました。
ただし、ボリューム レンダリングの計算要求は、モデルのトレーニング中に重大な課題を引き起こします。
既存の高速化手法ではモデル アーキテクチャの再設計が必要になることが多く、さまざまなフレームワーク間での互換性に制限が生じます。
さらに、これらの方法では、発生する相当なメモリ コストが見落とされる傾向があります。
これらの課題に対応して、ニューラル放射フィールド トレーニングの計算負荷、レンダリング品質、柔軟性を効率的にバランスさせる拡張的な監視メカニズムを導入します。
このメカニズムは、小さいながらも重要なピクセルのサブセットを選択的にレンダリングし、その値を拡張して反復ごとにエリア全体の誤差を推定することによって動作します。
従来の監視と比較して、私たちの方法は冗長なレンダリングプロセスを効果的にバイパスし、時間とメモリ消費量の両方を大幅に削減します。
実験結果は、既存の最先端のアクセラレーション フレームワーク内に広範な監視を統合すると、視覚的な品質の低下を最小限に抑えながら、69% のメモリ節約と 42% の時間節約を達成できることを示しています。

要約(オリジナル)

Neural Radiance Fields have achieved success in creating powerful 3D media representations with their exceptional reconstruction capabilities. However, the computational demands of volume rendering pose significant challenges during model training. Existing acceleration techniques often involve redesigning the model architecture, leading to limitations in compatibility across different frameworks. Furthermore, these methods tend to overlook the substantial memory costs incurred. In response to these challenges, we introduce an expansive supervision mechanism that efficiently balances computational load, rendering quality and flexibility for neural radiance field training. This mechanism operates by selectively rendering a small but crucial subset of pixels and expanding their values to estimate the error across the entire area for each iteration. Compare to conventional supervision, our method effectively bypasses redundant rendering processes, resulting in notable reductions in both time and memory consumption. Experimental results demonstrate that integrating expansive supervision within existing state-of-the-art acceleration frameworks can achieve 69% memory savings and 42% time savings, with negligible compromise in visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google