Factor Fields: A Unified Framework for Neural Fields and Beyond

要約

信号をモデル化して表現するための新しいフレームワークである Factor Fields を紹介します。
因子フィールドは、信号を因子の積に分解します。各因子は、座標変換された入力信号上で動作するニューラルまたは通常のフィールド表現によって表されます。
この分解により、NeRF、PlenOxels、EG3D、Instant-NGP、TensoRF などのいくつかの最近の信号表現を一般化する統一フレームワークが得られることを示します。
さらに、このフレームワークにより、この論文で提案する係数基底因数分解 (CoBaFa) などの強力な新しい信号表現の作成が可能になります。
私たちの実験で証明されたように、CoBaFa は、神経信号表現における 3 つの重要な目標 (近似品質、コンパクトさ、効率) の点で、以前の高速再構成法に比べて改善につながります。
実験的に、私たちの表現は、以前の高速再構成方法と比較して、2D画像回帰タスクでより良い画像近似品質、3D符号付き距離フィールドを再構成する際のより高い幾何学的品質、および放射輝度フィールド再構成タスクでより高いコンパクト性を達成することを実証します。
さらに、CoBaFa 表現により、トレーニング中に信号全体で基底を共有することで一般化が可能になり、まばらな観察による画像回帰や少数ショットの放射輝度フィールド再構成などの一般化タスクが可能になります。
プロジェクトページ: https://apchenstu.github.io/FactorFields/

要約(オリジナル)

We present Factor Fields, a novel framework for modeling and representing signals. Factor Fields decomposes a signal into a product of factors, each of which is represented by a neural or regular field representation operating on a coordinate transformed input signal. We show that this decomposition yields a unified framework that generalizes several recent signal representations including NeRF, PlenOxels, EG3D, Instant-NGP, and TensoRF. Moreover, the framework allows for the creation of powerful new signal representations, such as the Coefficient-Basis Factorization (CoBaFa) which we propose in this paper. As evidenced by our experiments, CoBaFa leads to improvements over previous fast reconstruction methods in terms of the three critical goals in neural signal representation: approximation quality, compactness and efficiency. Experimentally, we demonstrate that our representation achieves better image approximation quality on 2D image regression tasks, higher geometric quality when reconstructing 3D signed distance fields and higher compactness for radiance field reconstruction tasks compared to previous fast reconstruction methods. Besides, our CoBaFa representation enables generalization by sharing the basis across signals during training, enabling generalization tasks such as image regression with sparse observations and few-shot radiance field reconstruction. Project Page: https://apchenstu.github.io/FactorFields/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google