TT-NF: Tensor Train Neural Fields

要約

ニューラル フィールドの学習は、ディープ ラーニングの研究において活発なトピックであり、とりわけ、よりコンパクトで適合しやすい表現を見つけることに焦点を当てています。
この論文では、高密度の規則的なグリッドでニューラル フィールドを学習するための Tensor Train Neural Fields (TT-NF) と呼ばれる新しい低ランク表現と、それらからサンプリングするための効率的な方法を紹介します。
私たちの表現は、非凸目的を最小化するためにバックプロパゲーションでトレーニングされたニューラル フィールドの TT パラメーター化です。
2 つの設定で、ダウンストリーム タスクの品質指標に対する低ランク圧縮の影響を分析します。
最初に、テンソルノイズ除去のサンドボックスタスクでの方法の効率を示します。これにより、再構成エラーを最小限に抑えるように設計されたSVDベースのスキームとの比較が可能になります。
さらに、提案されたアプローチをニューラル ラディアンス フィールドに適用します。ここでは、最良の品質に対応するフィールドの下位構造が学習によってのみ発見されます。

要約(オリジナル)

Learning neural fields has been an active topic in deep learning research, focusing, among other issues, on finding more compact and easy-to-fit representations. In this paper, we introduce a novel low-rank representation termed Tensor Train Neural Fields (TT-NF) for learning neural fields on dense regular grids and efficient methods for sampling from them. Our representation is a TT parameterization of the neural field, trained with backpropagation to minimize a non-convex objective. We analyze the effect of low-rank compression on the downstream task quality metrics in two settings. First, we demonstrate the efficiency of our method in a sandbox task of tensor denoising, which admits comparison with SVD-based schemes designed to minimize reconstruction error. Furthermore, we apply the proposed approach to Neural Radiance Fields, where the low-rank structure of the field corresponding to the best quality can be discovered only through learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google