Vulnerabilities in Video Quality Assessment Models: The Challenge of Adversarial Attacks

要約

ノーリファレンスビデオ品質評価 (NR-VQA) は、エンドユーザーの視聴エクスペリエンスを向上させる上で重要な役割を果たします。
深層学習によって駆動される、畳み込みニューラル ネットワーク (CNN) とトランスフォーマーに基づく最近の NR-VQA モデルは、優れたパフォーマンスを達成しました。
信頼性が高く実用的な評価システムを構築するには、その堅牢性を評価することが非常に重要です。
しかし、このような問題は学術界ではほとんど注目されていません。
本稿では、敵対的攻撃に対するNR-VQAモデルの堅牢性を評価する初めての試みを行い、ブラックボックス攻撃に対するパッチベースのランダム探索手法を提案します。
具体的には、品質スコアに対する攻撃の影響と敵対的なビデオの視覚的品質の両方を考慮して、攻撃の問題は、目に見える差異 (JND) の制約の下で推定品質スコアを誤解させるものとして定式化されます。
このような定式化に基づいて構築された、スコア逆転境界損失と呼ばれる新しい損失関数は、敵対的なビデオの推定品質スコアをそのグラウンドトゥルース スコアから特定の境界に向かって遠くに押し上げるように設計されており、JND 制約は厳密な $L_2$ としてモデル化されています。
$L_\infty$ ノルム制限。
これにより、ホワイトボックス攻撃とブラックボックス攻撃の両方を、効果的かつ感知されない方法で開始できます。
ソース コードは https://github.com/GZHU-DVL/ AttackVQA で入手できます。

要約(オリジナル)

No-Reference Video Quality Assessment (NR-VQA) plays an essential role in improving the viewing experience of end-users. Driven by deep learning, recent NR-VQA models based on Convolutional Neural Networks (CNNs) and Transformers have achieved outstanding performance. To build a reliable and practical assessment system, it is of great necessity to evaluate their robustness. However, such issue has received little attention in the academic community. In this paper, we make the first attempt to evaluate the robustness of NR-VQA models against adversarial attacks, and propose a patch-based random search method for black-box attack. Specifically, considering both the attack effect on quality score and the visual quality of adversarial video, the attack problem is formulated as misleading the estimated quality score under the constraint of just-noticeable difference (JND). Built upon such formulation, a novel loss function called Score-Reversed Boundary Loss is designed to push the adversarial video’s estimated quality score far away from its ground-truth score towards a specific boundary, and the JND constraint is modeled as a strict $L_2$ and $L_\infty$ norm restriction. By this means, both white-box and black-box attacks can be launched in an effective and imperceptible manner. The source code is available at https://github.com/GZHU-DVL/AttackVQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google