Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs

要約

マルチプレーン表現は、静的および動的ニューラル放射フィールドにわたる高速トレーニングと推論で注目されています。
このアプローチでは、学習可能なグリッドへの投影と隣接する頂点の補間を通じて、関連するフィーチャを構築します。
ただし、低周波の細部のキャプチャには限界があり、マルチ解像度のコンセプトにも関わらず、細部に偏りがあるため、低周波の特徴のパラメータを過剰に使用する傾向があります。
この現象は、トレーニングのポーズがまばらな場合、不安定性と非効率性を引き起こします。
この研究では、低周波信号に対する強いバイアスで知られる座標ベースのネットワークとマルチプレーン表現を相乗的に統合する方法を提案します。
座標ベースのネットワークは低周波の詳細をキャプチャする役割を果たしますが、マルチプレーン表現はきめの細かい詳細をキャプチャすることに重点を置いています。
それらの間の残りの接続を使用すると、それら自体の固有のプロパティがシームレスに保存されることを示します。
さらに、提案されたプログレッシブ トレーニング スキームは、これら 2 つの機能のもつれの解消を加速します。
我々は、提案された方法がより少ないパラメータで明示的エンコードと同等の結果を達成し、特にスパース入力下の静的および動的NeRFに対して他の方法よりも優れていることを経験的に示します。

要約(オリジナル)

The multi-plane representation has been highlighted for its fast training and inference across static and dynamic neural radiance fields. This approach constructs relevant features via projection onto learnable grids and interpolating adjacent vertices. However, it has limitations in capturing low-frequency details and tends to overuse parameters for low-frequency features due to its bias toward fine details, despite its multi-resolution concept. This phenomenon leads to instability and inefficiency when training poses are sparse. In this work, we propose a method that synergistically integrates multi-plane representation with a coordinate-based network known for strong bias toward low-frequency signals. The coordinate-based network is responsible for capturing low-frequency details, while the multi-plane representation focuses on capturing fine-grained details. We demonstrate that using residual connections between them seamlessly preserves their own inherent properties. Additionally, the proposed progressive training scheme accelerates the disentanglement of these two features. We empirically show that the proposed method achieves comparable results to explicit encoding with fewer parameters, and particularly, it outperforms others for the static and dynamic NeRFs under sparse inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google