General Neural Gauge Fields

要約

神経放射フィールドなどの神経フィールドの最近の進歩により、シーン表現学習の境界が大幅に押し上げられています。
3D シーンの計算効率とレンダリング品質の向上を目的として、神経分野をモデル化するために 3D 座標系を別の測定システム (2D 多様体やハッシュ テーブルなど) にマッピングする研究が一般的です。
座標系の変換は通常 \emph{ゲージ変換} と呼ばれることがあり、これは通常、直交射影や空間ハッシュ関数などの事前定義されたマッピング関数です。
ここで疑問が生じます。エンドツーエンドの方法で、神経場とともに目的のゲージ変換を直接学習できるでしょうか?
この研究では、この問題を離散および連続ケースの分類を使用した一般的なパラダイムに拡張し、ゲージ変換とニューラル フィールドを共同で最適化するための学習フレームワークを開発します。
ゲージ変換の学習が簡単に崩壊する可能性があるという問題に対処するために、ゲージ変換中の情報保存の原理から一般的な正則化メカニズムを導出します。
正則化によるゲージ学習における高い計算コストを回避するために、シーン情報を本質的に保存し、優れたパフォーマンスをもたらす情報不変ゲージ変換を直接導出します。
プロジェクト: https://fnzhan.com/Neural-Gauge-Fields

要約(オリジナル)

The recent advance of neural fields, such as neural radiance fields, has significantly pushed the boundary of scene representation learning. Aiming to boost the computation efficiency and rendering quality of 3D scenes, a popular line of research maps the 3D coordinate system to another measuring system, e.g., 2D manifolds and hash tables, for modeling neural fields. The conversion of coordinate systems can be typically dubbed as \emph{gauge transformation}, which is usually a pre-defined mapping function, e.g., orthogonal projection or spatial hash function. This begs a question: can we directly learn a desired gauge transformation along with the neural field in an end-to-end manner? In this work, we extend this problem to a general paradigm with a taxonomy of discrete \& continuous cases, and develop a learning framework to jointly optimize gauge transformations and neural fields. To counter the problem that the learning of gauge transformations can collapse easily, we derive a general regularization mechanism from the principle of information conservation during the gauge transformation. To circumvent the high computation cost in gauge learning with regularization, we directly derive an information-invariant gauge transformation which allows to preserve scene information inherently and yield superior performance. Project: https://fnzhan.com/Neural-Gauge-Fields

arxiv情報

提供元, 利用サービス

arxiv.jp, Google