Multi-Scale Architectures Matter: On the Adversarial Robustness of Flow-based Lossless Compression

要約

確率論的モデリング手法として、フローベースのモデルはロスレス圧縮の分野で顕著な可能性を示しています \cite{idf,idf++,lbb,ivpf,iflow},.
データ分布の確率を明示的にモデル化する他の深い生成モデル (自己回帰、VAE など) \cite{bitswap,hilloc,pixelcnn++,pixelsnail} と比較して、フローベースのモデルは、優れた確率密度推定と十分な推論速度により、より優れたパフォーマンスを発揮します。
フローベースのモデルでは、マルチスケール アーキテクチャが浅いレイヤーから出力レイヤーへのショートカットを提供します。これにより、計算の複雑さが大幅に軽減され、レイヤーを追加する際のパフォーマンスの低下が回避されます。
これは、高度なフローベースの学習可能な全単射マッピングを構築するために不可欠です。
さらに、実際の圧縮タスクにおけるモデル設計の軽量要件は、マルチスケール アーキテクチャを使用したフローが、コーディングの複雑さと圧縮効率の間で最適なトレードオフを達成することを示唆しています。

要約(オリジナル)

As a probabilistic modeling technique, the flow-based model has demonstrated remarkable potential in the field of lossless compression \cite{idf,idf++,lbb,ivpf,iflow},. Compared with other deep generative models (eg. Autoregressive, VAEs) \cite{bitswap,hilloc,pixelcnn++,pixelsnail} that explicitly model the data distribution probabilities, flow-based models perform better due to their excellent probability density estimation and satisfactory inference speed. In flow-based models, multi-scale architecture provides a shortcut from the shallow layer to the output layer, which significantly reduces the computational complexity and avoid performance degradation when adding more layers. This is essential for constructing an advanced flow-based learnable bijective mapping. Furthermore, the lightweight requirement of the model design in practical compression tasks suggests that flows with multi-scale architecture achieve the best trade-off between coding complexity and compression efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google