Neural Image Compression: Generalization, Robustness, and Spectral Biases

要約

最近のニューラル画像圧縮 (NIC) の進歩により、従来のコーデックを上回る性能を発揮し始めているモデルが生み出されています。
これにより、現実世界のアプリケーションで NIC を使用することへの期待が高まっていますが、機械学習システムを実際に導入するには、展開時に目に見えない分散の変化に対応できるようにシステムを一般化する (そして堅牢にする) 必要があります。
残念ながら、現在の研究には、現実の環境で NIC のパフォーマンスを評価および理解するための包括的なデータセットや有益なツールが不足しています。
この重大なギャップを埋めるために、このペーパーではまず、画像圧縮方式の配信外 (OOD) パフォーマンスを評価するための包括的なベンチマーク スイートを紹介します。
具体的には、一般的な CLIC および Kodak ベンチマークに 15 個の破損を導入することにより、CLIC-C および Kodak-C を提供します。
次に、画像圧縮方法やその OOD パフォーマンスによってもたらされるエラーについてより深い洞察を得るために、スペクトルにヒントを得た検査ツールを提案します。
次に、従来のコーデックといくつかの NIC バリアントのパフォーマンスを詳細に比較し、NIC の長所と限界についての現在の理解に疑問を投げかける興味深い調査結果を明らかにしました。
最後に、実験結果を理論分析で裏付け、NIC の OOD パフォーマンスとデータのスペクトル特性への依存性についての詳細なビューを提供します。
当社のベンチマーク、スペクトル検査ツール、および調査結果は、NIC の実際の導入への重要な架け橋となります。
私たちの研究が、堅牢で一般化可能な NIC メソッドの設計における今後の取り組みを推進することを願っています。
コードとデータは https://github.com/klieberman/ood_nic で入手可能になります。

要約(オリジナル)

Recent neural image compression (NIC) advances have produced models which are starting to outperform traditional codecs. While this has led to growing excitement about using NIC in real-world applications, the successful adoption of any machine learning system in the wild requires it to generalize (and be robust) to unseen distribution shifts at deployment. Unfortunately, current research lacks comprehensive datasets and informative tools to evaluate and understand NIC performance in real-world settings. To bridge this crucial gap, first, this paper presents a comprehensive benchmark suite to evaluate the out-of-distribution (OOD) performance of image compression methods. Specifically, we provide CLIC-C and Kodak-C by introducing 15 corruptions to popular CLIC and Kodak benchmarks. Next, we propose spectrally inspired inspection tools to gain deeper insight into errors introduced by image compression methods as well as their OOD performance. We then carry out a detailed performance comparison of a classical codec with several NIC variants, revealing intriguing findings that challenge our current understanding of the strengths and limitations of NIC. Finally, we corroborate our empirical findings with theoretical analysis, providing an in-depth view of the OOD performance of NIC and its dependence on the spectral properties of the data. Our benchmarks, spectral inspection tools, and findings provide a crucial bridge to the real-world adoption of NIC. We hope that our work will propel future efforts in designing robust and generalizable NIC methods. Code and data will be made available at https://github.com/klieberman/ood_nic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google