RECOMBINER: Robust and Enhanced Compression with Bayesian Implicit Neural Representations

要約

COMpression with Bayesian Implicit NEural Representations (COMBINER) は、以前の Implicit Neural Representation (INR) ベースのアプローチの重要な非効率性に対処する最近のデータ圧縮方法です。量子化を回避し、レート歪みパフォーマンスの直接の最適化を可能にします。
ただし、COMBINER には依然として重大な制限があります。1) 柔軟性に欠ける因数分解された事前近似と事後近似を使用します。
2) データ内のグローバル パターンからのローカルな偏差に効果的に適応することができません。
3) そのパフォーマンスは、モデリングの選択と変分パラメーターの初期化の影響を受ける可能性があります。
私たちが提案した手法である Robust and Enhanced COMBINER (RECOMBINER) は、1) INR 重みの線形再パラメータ化によって低い計算コストを維持しながら変分近似を強化し、2) INR を学習可能な位置エンコーディングで強化することによってこれらの問題に対処します。
局所的な詳細に適応し、3) 高解像度データをパッチに分割して堅牢性を高め、表現力豊かな階層事前分布を利用してパッチ間の依存関係をキャプチャします。
私たちはいくつかのデータ モダリティにわたって広範な実験を実施し、RECOMBINER が最高の INR ベースの方法で競合する結果を達成し、低ビットレートの低解像度画像ではオートエンコーダー ベースのコーデックよりも優れたパフォーマンスを発揮することを示しました。
PyTorch 実装は https://github.com/cambridge-mlg/RECOMBINER/ で入手できます。

要約(オリジナル)

COMpression with Bayesian Implicit NEural Representations (COMBINER) is a recent data compression method that addresses a key inefficiency of previous Implicit Neural Representation (INR)-based approaches: it avoids quantization and enables direct optimization of the rate-distortion performance. However, COMBINER still has significant limitations: 1) it uses factorized priors and posterior approximations that lack flexibility; 2) it cannot effectively adapt to local deviations from global patterns in the data; and 3) its performance can be susceptible to modeling choices and the variational parameters’ initializations. Our proposed method, Robust and Enhanced COMBINER (RECOMBINER), addresses these issues by 1) enriching the variational approximation while retaining a low computational cost via a linear reparameterization of the INR weights, 2) augmenting our INRs with learnable positional encodings that enable them to adapt to local details and 3) splitting high-resolution data into patches to increase robustness and utilizing expressive hierarchical priors to capture dependency across patches. We conduct extensive experiments across several data modalities, showcasing that RECOMBINER achieves competitive results with the best INR-based methods and even outperforms autoencoder-based codecs on low-resolution images at low bitrates. Our PyTorch implementation is available at https://github.com/cambridge-mlg/RECOMBINER/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google