Cross-Modality Perturbation Synergy Attack for Person Re-identification

要約

近年、RGB 画像に基づくシングルモーダル個人再識別 (ReID) システムにおけるセキュリティ上の懸念に対処することに焦点を当てた重要な研究が行われています。
しかし、クロスモダリティシナリオの安全性は、赤外線カメラで撮影した画像を含む実際のアプリケーションでよく見られるもので、十分な注意が払われていません。
クロスモダリティ ReID の主な課題は、異なるモダリティ間の視覚的な違いに効果的に対処することにあります。
たとえば、色情報を含む可視画像とは異なり、赤外線画像は通常グレースケールです。
既存の攻撃手法は、主に可視画像モダリティの特性に焦点を当てており、他のモダリティの特徴や異なるモダリティ間のデータ分布の変動を見落としてきました。
この見落としにより、さまざまなモダリティにわたる画像検索におけるこれらの方法の有効性が損なわれる可能性があります。
この研究は、クロスモダリティ ReID モデルのセキュリティに関する最初の調査であり、クロスモダリティ ReID 用に特別に設計されたユニバーサル摂動攻撃を提案しています。
この攻撃は、多様なモダリティ データからの勾配を利用することで摂動を最適化し、それによって識別器を混乱させ、モダリティ間の違いを強化します。
私たちは、広く使用されている 2 つのクロスモダリティ データセット、つまり RegDB と SYSU で実験を実施しました。これにより、私たちの手法の有効性が実証されただけでなく、クロスモダリティ ReID システムの堅牢性における将来の強化のための洞察も得られました。

要約(オリジナル)

In recent years, there has been significant research focusing on addressing security concerns in single-modal person re-identification (ReID) systems that are based on RGB images. However, the safety of cross-modality scenarios, which are more commonly encountered in practical applications involving images captured by infrared cameras, has not received adequate attention. The main challenge in cross-modality ReID lies in effectively dealing with visual differences between different modalities. For instance, infrared images are typically grayscale, unlike visible images that contain color information. Existing attack methods have primarily focused on the characteristics of the visible image modality, overlooking the features of other modalities and the variations in data distribution among different modalities. This oversight can potentially undermine the effectiveness of these methods in image retrieval across diverse modalities. This study represents the first exploration into the security of cross-modality ReID models and proposes a universal perturbation attack specifically designed for cross-modality ReID. This attack optimizes perturbations by leveraging gradients from diverse modality data, thereby disrupting the discriminator and reinforcing the differences between modalities. We conducted experiments on two widely used cross-modality datasets, namely RegDB and SYSU, which not only demonstrated the effectiveness of our method but also provided insights for future enhancements in the robustness of cross-modality ReID systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google