SHACIRA: Scalable HAsh-grid Compression for Implicit Neural Representations

要約

Implicit Neural Representations (INR) またはニューラル フィールドは、高品質を維持しながら画像や放射フィールドなどのマルチメディア信号をエンコードするための一般的なフレームワークとして登場しました。
最近、Instant-NGP によって提案された学習可能な特徴グリッドにより、大規模なニューラル ネットワークを特徴ベクトルの多重解像度ルックアップ テーブルとはるかに小さいニューラル ネットワークに置き換えることにより、トレーニングと INR のサンプリングの大幅な高速化が可能になりました。
。
ただし、これらの機能グリッドは大量のメモリ消費を犠牲にして、ストレージやストリーミング アプリケーションのボトルネックになる可能性があります。
この研究では、ポストホックプルーニング/量子化ステージを追加せずにそのような特徴グリッドを圧縮するための、シンプルかつ効果的なタスクに依存しないフレームワークである SHACIRA を提案します。
量子化された潜在重みを使用して特徴グリッドを再パラメータ化し、潜在空間にエントロピー正則化を適用して、さまざまなドメインにわたって高レベルの圧縮を実現します。
画像、ビデオ、放射輝度フィールドで構成される多様なデータセットに関する定量的および定性的な結果は、大規模なデータセットやドメイン固有のヒューリスティックを必要とせずに、私たちのアプローチが既存の INR アプローチよりも優れていることを示しています。
私たちのプロジェクト ページは http://shacira.github.io から入手できます。

要約(オリジナル)

Implicit Neural Representations (INR) or neural fields have emerged as a popular framework to encode multimedia signals such as images and radiance fields while retaining high-quality. Recently, learnable feature grids proposed by Instant-NGP have allowed significant speed-up in the training as well as the sampling of INRs by replacing a large neural network with a multi-resolution look-up table of feature vectors and a much smaller neural network. However, these feature grids come at the expense of large memory consumption which can be a bottleneck for storage and streaming applications. In this work, we propose SHACIRA, a simple yet effective task-agnostic framework for compressing such feature grids with no additional post-hoc pruning/quantization stages. We reparameterize feature grids with quantized latent weights and apply entropy regularization in the latent space to achieve high levels of compression across various domains. Quantitative and qualitative results on diverse datasets consisting of images, videos, and radiance fields, show that our approach outperforms existing INR approaches without the need for any large datasets or domain-specific heuristics. Our project page is available at http://shacira.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google