Accelerating Relative Entropy Coding with Space Partitioning

要約

相対エントロピー符号化 (REC) アルゴリズムは、送信者と受信者の間で共有される符号化分布 $P$ を使用して、ターゲット分布 $Q$ に従うランダム サンプルを符号化します。
残念なことに、一般的な REC アルゴリズムは、少なくとも $2^{D_{\text{KL}}[Q||P]}$ 程度の法外なエンコード時間に悩まされており、より高速なアルゴリズムは非常に特殊な設定に限定されています。
この取り組みでは、実際のシナリオでの実行時間を短縮するためにスペース分割を利用する REC スキームを導入することで、この問題に対処しています。
私たちは私たちの方法の理論的分析を提供し、おもちゃの例と実際の応用の両方でその有効性を実証します。
特に、私たちの方法は、以前の方法が管理できるものより約 3 倍の $D_{\text{KL}}[Q||P]$ で REC タスクを正常に処理し、VAE ベースのロスレスで圧縮率を約 5 ～ 15\% 削減します。
以前の方法と比較して、MNIST での圧縮と CIFAR-10 での INR ベースの非可逆圧縮により、ニューラル圧縮における REC の実用性が大幅に向上しました。

要約(オリジナル)

Relative entropy coding (REC) algorithms encode a random sample following a target distribution $Q$, using a coding distribution $P$ shared between the sender and receiver. Sadly, general REC algorithms suffer from prohibitive encoding times, at least on the order of $2^{D_{\text{KL}}[Q||P]}$, and faster algorithms are limited to very specific settings. This work addresses this issue by introducing a REC scheme utilizing space partitioning to reduce runtime in practical scenarios. We provide theoretical analyses of our method and demonstrate its effectiveness with both toy examples and practical applications. Notably, our method successfully handles REC tasks with $D_{\text{KL}}[Q||P]$ about three times what previous methods can manage and reduces the compression rate by approximately 5-15\% in VAE-based lossless compression on MNIST and INR-based lossy compression on CIFAR-10 compared to previous methods, significantly improving the practicality of REC for neural compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google