Factor Fields: A Unified Framework for Neural Fields and Beyond

要約

シグナルをモデリングおよび表現するための新しいフレームワークであるファクター フィールドを紹介します。
因子フィールドは、信号を因子の積に分解します。各因子は、座標変換された入力信号で動作するニューラルまたは通常のフィールド表現によって表されます。
この分解により、NeRF、PlenOxels、EG3D、Instant-NGP、および TensoRF を含むいくつかの最近の信号表現を一般化する統一されたフレームワークが得られることを示します。
さらに、このフレームワークにより、このペーパーで提案する Coefficient-Basis Factorization (CoBaFa) などの強力な新しい信号表現を作成できます。
私たちの実験で証明されているように、CoBaFa は、神経信号表現の 3 つの重要な目標の点で、以前の高速再構成方法よりも改善されています: 近似品質、コンパクトさ、効率。
実験的に、私たちの表現は、以前の高速再構成方法と比較して、2D 画像回帰タスクでより優れた画像近似品質、3D 符号付き距離フィールドを再構築するときにより高い幾何学的品質、放射輝度フィールド再構築タスクでより高いコンパクトさを達成することを示しています。
さらに、CoBaFa 表現は、トレーニング中に信号間で基底を共有することで一般化を可能にし、まばらな観測による画像回帰や少数ショットの放射輝度場再構成などの一般化タスクを可能にします。

要約(オリジナル)

We present Factor Fields, a novel framework for modeling and representing signals. Factor Fields decomposes a signal into a product of factors, each of which is represented by a neural or regular field representation operating on a coordinate transformed input signal. We show that this decomposition yields a unified framework that generalizes several recent signal representations including NeRF, PlenOxels, EG3D, Instant-NGP, and TensoRF. Moreover, the framework allows for the creation of powerful new signal representations, such as the Coefficient-Basis Factorization (CoBaFa) which we propose in this paper. As evidenced by our experiments, CoBaFa leads to improvements over previous fast reconstruction methods in terms of the three critical goals in neural signal representation: approximation quality, compactness and efficiency. Experimentally, we demonstrate that our representation achieves better image approximation quality on 2D image regression tasks, higher geometric quality when reconstructing 3D signed distance fields and higher compactness for radiance field reconstruction tasks compared to previous fast reconstruction methods. Besides, our CoBaFa representation enables generalization by sharing the basis across signals during training, enabling generalization tasks such as image regression with sparse observations and few-shot radiance field reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google