Efficient NeRF Optimization — Not All Samples Remain Equally Hard

要約

私たちは、Neural Radiance Fields (NeRF) の効率的なトレーニングのためのオンラインハードサンプルマイニングのアプリケーションを提案します。
NeRF モデルは、多くの 3D 再構成およびレンダリング タスクに対して最先端の品質を生成しますが、大量の計算リソースを必要とします。
NeRF ネットワーク パラメータ内のシーン情報をエンコードするには、確率的サンプリングが必要です。
トレーニング中、計算時間とメモリ使用量の大部分が学習済みのサンプルの処理に費やされ、モデルの更新に大きな影響を与えなくなっていることがわかります。
最適化中の計算ボトルネックとして、確率的サンプルの逆方向パスを特定します。
したがって、ハード サンプルの比較的低コストの検索として、推論モードで最初の前方パスを実行します。
続いて、計算グラフを構築し、ハード サンプルのみを使用して NeRF ネットワーク パラメーターを更新します。
提案されたアプローチの有効性を実証するために、私たちの方法を Instant-NGP に適用すると、ビュー合成品質がベースラインに比べて大幅に向上しました (トレーニング時間ごとに平均で 1 dB の改善、または同じ PSNR レベルに達するまでに 2 倍の速度向上)
）とともに約。
計算グラフの構築にハード サンプルのみを使用することで、メモリが 40% 節約されます。
私たちの方法はネットワークモジュールとのみインターフェイスするため、広く適用できることが期待されます。

要約(オリジナル)

We propose an application of online hard sample mining for efficient training of Neural Radiance Fields (NeRF). NeRF models produce state-of-the-art quality for many 3D reconstruction and rendering tasks but require substantial computational resources. The encoding of the scene information within the NeRF network parameters necessitates stochastic sampling. We observe that during the training, a major part of the compute time and memory usage is spent on processing already learnt samples, which no longer affect the model update significantly. We identify the backward pass on the stochastic samples as the computational bottleneck during the optimization. We thus perform the first forward pass in inference mode as a relatively low-cost search for hard samples. This is followed by building the computational graph and updating the NeRF network parameters using only the hard samples. To demonstrate the effectiveness of the proposed approach, we apply our method to Instant-NGP, resulting in significant improvements of the view-synthesis quality over the baseline (1 dB improvement on average per training time, or 2x speedup to reach the same PSNR level) along with approx. 40% memory savings coming from using only the hard samples to build the computational graph. As our method only interfaces with the network module, we expect it to be widely applicable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google