Adversarial Purification and Fine-tuning for Robust UDC Image Restoration

要約

本研究では、UDC（Under-Display Camera）画像復元モデルの強化について、敵対的攻撃に対する頑健性に焦点を当てながら掘り下げていく。シームレスなディスプレイ統合への革新的なアプローチにもかかわらず、UDC技術は、敵対的な摂動に影響されやすいことによって悪化した、独自の画像劣化の課題に直面している。本研究では、まず、ディープラーニングベースのUDC画像復元モデルについて、ホワイトボックス攻撃とブラックボックス攻撃の手法を用いた徹底的な頑健性評価を行う。この評価は、現在のUDC画像復元技術の脆弱性を理解する上で極めて重要である。評価に続いて、敵対的な浄化とその後の微調整プロセスを統合した防御フレームワークを紹介する。まず、我々のアプローチは拡散ベースの敵対的浄化を採用し、敵対的摂動を効果的に中和する。次に、微調整手法を適用して画像復元モデルをさらに改良し、復元画像の品質と忠実度を確実に維持する。提案するアプローチの有効性は広範な実験により検証され、典型的な敵対的攻撃に対する耐性の顕著な改善を示す。

要約(オリジナル)

This study delves into the enhancement of Under-Display Camera (UDC) image restoration models, focusing on their robustness against adversarial attacks. Despite its innovative approach to seamless display integration, UDC technology faces unique image degradation challenges exacerbated by the susceptibility to adversarial perturbations. Our research initially conducts an in-depth robustness evaluation of deep-learning-based UDC image restoration models by employing several white-box and black-box attacking methods. This evaluation is pivotal in understanding the vulnerabilities of current UDC image restoration techniques. Following the assessment, we introduce a defense framework integrating adversarial purification with subsequent fine-tuning processes. First, our approach employs diffusion-based adversarial purification, effectively neutralizing adversarial perturbations. Then, we apply the fine-tuning methodologies to refine the image restoration models further, ensuring that the quality and fidelity of the restored images are maintained. The effectiveness of our proposed approach is validated through extensive experiments, showing marked improvements in resilience against typical adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL