Factor Fields: A Unified Framework for Neural Fields and Beyond

要約

信号をモデル化して表現するための新しいフレームワークである Factor Fields を紹介します。
因子フィールドは、信号を因子の積に分解します。各因子は、変換された入力座標で動作する古典的またはニューラル フィールド表現によって表されます。
この分解により、NeRF、Plenoxels、EG3D、Instant-NGP、TensoRF などのいくつかの最近の信号表現に対応する統合フレームワークが得られます。
さらに、私たちのフレームワークは、この論文の 2 番目の貢献である「辞書フィールド」(DiF) などの強力な新しい信号表現の作成を可能にします。
私たちの実験では、以前の高速再構成手法と比較して、DiF が近似品質、コンパクトさ、トレーニング時間の改善につながることを示しています。
実験的に、私たちの表現は、2D 画像回帰タスクでより良い画像近似品質、3D 符号付き距離フィールドを再構成する際のより高い幾何学的品質、および放射輝度フィールド再構成タスクでより高いコンパクト性を達成します。
さらに、DiF は、トレーニング中に信号全体で塩基を共有することで、目に見えない画像/3D シーンへの一般化を可能にし、まばらな観察からの画像回帰や少数ショットの放射輝度フィールド再構成などのユースケースに大きなメリットをもたらします。

要約(オリジナル)

We present Factor Fields, a novel framework for modeling and representing signals. Factor Fields decomposes a signal into a product of factors, each represented by a classical or neural field representation which operates on transformed input coordinates. This decomposition results in a unified framework that accommodates several recent signal representations including NeRF, Plenoxels, EG3D, Instant-NGP, and TensoRF. Additionally, our framework allows for the creation of powerful new signal representations, such as the ‘Dictionary Field’ (DiF) which is a second contribution of this paper. Our experiments show that DiF leads to improvements in approximation quality, compactness, and training time when compared to previous fast reconstruction methods. Experimentally, our representation achieves better image approximation quality on 2D image regression tasks, higher geometric quality when reconstructing 3D signed distance fields, and higher compactness for radiance field reconstruction tasks. Furthermore, DiF enables generalization to unseen images/3D scenes by sharing bases across signals during training which greatly benefits use cases such as image regression from sparse observations and few-shot radiance field reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google