Causal Perception Inspired Representation Learning for Trustworthy Image Quality Assessment

要約

視覚認識のモデリングでは大きな成功を収めているにもかかわらず、ディープ ニューラル ネットワーク ベースの画質評価 (IQA) は、敵対的な摂動に対する脆弱性と明示的でないブラック ボックス構造のため、現実世界のアプリケーションでは依然として信頼性が低いままです。
この論文では、因果知覚に触発された表現学習 (CPRL) を介して信頼できる IQA モデルを構築することと、IQA モデルに対するスコア反映攻撃手法を提案します。
より具体的には、各画像は因果的知覚表現 (CPR) と非因果的知覚表現 (N-CPR) で構成されていると仮定します。
CPR は、知覚できない敵対的な摂動に対して不変である主観的な品質ラベルの原因として機能します。
逆に、N-CPR は主観的な品質ラベルとの誤った関連性を示し、敵対的な摂動によって大幅に変化する可能性があります。
各入力画像から CPR を抽出するために、因果的に十分な (高い予測精度に有益) および必要な (高い堅牢性に有益な) 深い特徴を仲介するソフト ランキング ベースのチャネルごとの活性化関数を開発し、介入に基づいてミニマックス ゲームを採用します。
最適化するために。
4 つのベンチマーク データベースでの実験では、提案された CPRL 手法が多くの最先端の敵対的防御手法を上回っており、明示的なモデル解釈を提供することが示されています。

要約(オリジナル)

Despite great success in modeling visual perception, deep neural network based image quality assessment (IQA) still remains unreliable in real-world applications due to its vulnerability to adversarial perturbations and the inexplicit black-box structure. In this paper, we propose to build a trustworthy IQA model via Causal Perception inspired Representation Learning (CPRL), and a score reflection attack method for IQA model. More specifically, we assume that each image is composed of Causal Perception Representation (CPR) and non-causal perception representation (N-CPR). CPR serves as the causation of the subjective quality label, which is invariant to the imperceptible adversarial perturbations. Inversely, N-CPR presents spurious associations with the subjective quality label, which may significantly change with the adversarial perturbations. To extract the CPR from each input image, we develop a soft ranking based channel-wise activation function to mediate the causally sufficient (beneficial for high prediction accuracy) and necessary (beneficial for high robustness) deep features, and based on intervention employ minimax game to optimize. Experiments on four benchmark databases show that the proposed CPRL method outperforms many state-of-the-art adversarial defense methods and provides explicit model interpretation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google