Canonical Factors for Hybrid Neural Fields

要約

因数分解された特徴量は、よりコンパクトで効率的で解釈可能なニューラル フィールドを構築する簡単な方法を提供しますが、現実世界のデータにとって必ずしも有益ではないバイアスも導入します。
この研究では、(1) これらのアーキテクチャが軸を揃えた信号に対して持つ望ましくないバイアスを特徴付け、これにより 2 PSNR もの高い放射輝度フィールド再構築の差が生じる可能性があります。(2) 一連の正規化を学習する方法を調査します。
変換では、これらのバイアスを取り除くことで表現を改善できます。
シーンの外観とこれらの変換を同時に学習すると、効率が大幅に向上することを 2 次元モデル問題で証明します。
画像、符号付き距離、放射輝度フィールド再構成タスクを使用して、TILTED と呼ばれる結果のアーキテクチャを検証し、品質、堅牢性、コンパクト性、実行時間全体の改善を観察します。
結果は、TILTED が 2 倍大きいベースラインに匹敵する機能を実現できることを実証する一方で、神経野評価手順の弱点を浮き彫りにしました。

要約(オリジナル)

Factored feature volumes offer a simple way to build more compact, efficient, and intepretable neural fields, but also introduce biases that are not necessarily beneficial for real-world data. In this work, we (1) characterize the undesirable biases that these architectures have for axis-aligned signals — they can lead to radiance field reconstruction differences of as high as 2 PSNR — and (2) explore how learning a set of canonicalizing transformations can improve representations by removing these biases. We prove in a two-dimensional model problem that simultaneously learning these transformations together with scene appearance succeeds with drastically improved efficiency. We validate the resulting architectures, which we call TILTED, using image, signed distance, and radiance field reconstruction tasks, where we observe improvements across quality, robustness, compactness, and runtime. Results demonstrate that TILTED can enable capabilities comparable to baselines that are 2x larger, while highlighting weaknesses of neural field evaluation procedures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google