Variable Bitrate Neural Fields

要約

符号付き距離関数や放射輝度フィールドなどのスカラーフィールドとベクトルフィールドのニューラル近似は、正確で高品質な表現として登場しました。
最先端の結果は、学習タスクの一部を引き受け、より小さく、より効率的なニューラルネットワークを可能にするトレーニング可能な機能グリッドからのルックアップでニューラル近似を調整することによって得られます。
残念ながら、これらの機能グリッドは通常、スタンドアロンのニューラルネットワークモデルと比較してメモリ消費量が大幅に増加するという犠牲を払っています。
このような機能グリッドを圧縮し、メモリ消費量を最大100倍削減し、アウトオブコアストリーミングに役立つ多重解像度表現を可能にする辞書方式を紹介します。
辞書の最適化をベクトル量子化された自動デコーダーの問題として定式化します。これにより、直接的な監視が利用できず、動的なトポロジーと構造を持つ空間で、エンドツーエンドの離散ニューラル表現を学習できます。
ソースコードはhttps://github.com/nv-tlabs/vqadで入手できます。

要約(オリジナル)

Neural approximations of scalar and vector fields, such as signed distance functions and radiance fields, have emerged as accurate, high-quality representations. State-of-the-art results are obtained by conditioning a neural approximation with a lookup from trainable feature grids that take on part of the learning task and allow for smaller, more efficient neural networks. Unfortunately, these feature grids usually come at the cost of significantly increased memory consumption compared to stand-alone neural network models. We present a dictionary method for compressing such feature grids, reducing their memory consumption by up to 100x and permitting a multiresolution representation which can be useful for out-of-core streaming. We formulate the dictionary optimization as a vector-quantized auto-decoder problem which lets us learn end-to-end discrete neural representations in a space where no direct supervision is available and with dynamic topology and structure. Our source code will be available at https://github.com/nv-tlabs/vqad.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google