Towards Robust Neural Image Compression: Adversarial Attack and Model Finetuning

要約

ディープ ニューラル ネットワークに基づく画像圧縮は、広く研究されています。
モデルの堅牢性は、サービスの有効化にとって重要ですが、ほとんど見過ごされています。
元のソース画像に少量のノイズ摂動を注入することで敵対的攻撃を実行し、一般的な学習済み画像圧縮モデルを使用してこれらの敵対的例をエンコードします。
実験では、敵対的な例の再構築における深刻な歪みが報告されており、基礎となる圧縮モデル（ネットワークアーキテクチャ、損失関数、品質スケールなど）で使用される設定や摂動の注入に使用される最適化戦略（
ノイズしきい値、信号距離測定)。
後で、反復的な敵対的微調整を適用して、事前トレーニング済みのモデルを改良します。
各反復では、ランダムなソース画像と敵対的な例が混合されて、基礎となるモデルが更新されます。
結果は、圧縮モデルの堅牢性を大幅に改善することにより、提案された微調整戦略の有効性を示しています。
全体として、私たちの方法論はシンプルで効果的で一般化可能であるため、堅牢な学習済み画像圧縮ソリューションを開発するのに魅力的です。
すべての資料は、再現可能な研究のために https://njuvision.github.io/RobustNIC で公開されています。

要約(オリジナル)

Deep neural network based image compression has been extensively studied. Model robustness is largely overlooked, though it is crucial to service enabling. We perform the adversarial attack by injecting a small amount of noise perturbation to original source images, and then encode these adversarial examples using prevailing learnt image compression models. Experiments report severe distortion in the reconstruction of adversarial examples, revealing the general vulnerability of existing methods, regardless of the settings used in underlying compression model (e.g., network architecture, loss function, quality scale) and optimization strategy used for injecting perturbation (e.g., noise threshold, signal distance measurement). Later, we apply the iterative adversarial finetuning to refine pretrained models. In each iteration, random source images and adversarial examples are mixed to update underlying model. Results show the effectiveness of the proposed finetuning strategy by substantially improving the compression model robustness. Overall, our methodology is simple, effective, and generalizable, making it attractive for developing robust learnt image compression solution. All materials have been made publicly accessible at https://njuvision.github.io/RobustNIC for reproducible research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google