General Neural Gauge Fields

要約

【タイトル】一般的なニューラルゲージ場

【要約】

-ニューラル放射場などのニューラルフィールドの最近の進歩は、シーン表現学習の境界を大幅に押し進めた。
-3Dシーンの計算効率とレンダリング品質を向上させるために、多くの研究者は、3D座標系を2D曲面やハッシュテーブルなど別の測定システムにマッピングすることが一般的であり、ニューラルフィールドをモデル化する。
-座標系の変換は通常、事前に定義されたマッピング関数（直交投影や空間ハッシュ関数など）であるゲージ変換と呼ばれることが多い。
-そのため、ニューラルフィールドと一緒に望ましいゲージ変換を直接エンドツーエンドで学習できるかという問題が生じる。
-この研究では、この問題を一般的なパラダイムに拡張し、離散的＆連続的なケースの分類法を開発し、ゲージ変換とニューラルフィールドを共同最適化するエンドツーエンド学習フレームワークを開発した。
-ゲージ変換の学習が容易に崩壊する問題に対処するために、ゲージ変換中の情報保存の原則から一般的な正則化メカニズムを導出した。
-正則化によるゲージ学習の高コストを回避するために、情報不変のゲージ変換を直接導出することで、シーン情報を本質的に保持し、優れた性能を発揮することができる。

要約(オリジナル)

The recent advance of neural fields, such as neural radiance fields, has significantly pushed the boundary of scene representation learning. Aiming to boost the computation efficiency and rendering quality of 3D scenes, a popular line of research maps the 3D coordinate system to another measuring system, e.g., 2D manifolds and hash tables, for modeling neural fields. The conversion of coordinate systems can be typically dubbed as gauge transformation, which is usually a pre-defined mapping function, e.g., orthogonal projection or spatial hash function. This begs a question: can we directly learn a desired gauge transformation along with the neural field in an end-to-end manner? In this work, we extend this problem to a general paradigm with a taxonomy of discrete & continuous cases, and develop an end-to-end learning framework to jointly optimize the gauge transformation and neural fields. To counter the problem that the learning of gauge transformations can collapse easily, we derive a general regularization mechanism from the principle of information conservation during the gauge transformation. To circumvent the high computation cost in gauge learning with regularization, we directly derive an information-invariant gauge transformation which allows to preserve scene information inherently and yield superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI