Backdoor Attacks on Crowd Counting

要約

群集カウントは、シーン画像内の人数を推​​定する回帰タスクであり、ビデオ監視、交通監視、フロー制御など、さまざまなセーフティクリティカルなアプリケーションで重要な役割を果たします。
このホワイトペーパーでは、ディープラーニングに基づく群集カウントモデルのバックドア攻撃に対する脆弱性を調査します。これは、ディープラーニングに対する主要なセキュリティ上の脅威です。
バックドア攻撃は、データポイズニングを介してバックドアトリガーをターゲットモデルに埋め込み、テスト時のモデルの予測を制御します。
既存のバックドア攻撃のほとんどが開発およびテストされている画像分類モデルとは異なり、群集カウントモデルは、多次元密度マップを出力する回帰モデルであるため、操作にはさまざまな手法が必要です。
この論文では、モデルを攻撃して任意の大または小の密度推定値を生成するために、2つの新しい密度操作バックドア攻撃（DMBA $ ^{-}$およびDMBA$^ {+} $）を提案します。
実験結果は、5つの古典的な群集カウントモデルと4つのタイプのデータセットに対するDMBA攻撃の有効性を示しています。
また、群集カウントモデルのバックドアの固有の課題の詳細な分析を提供し、効果的な攻撃の2つの重要な要素を明らかにします。1）完全で高密度のトリガーと2）グラウンドトゥルースカウントまたは密度マップの操作。
私たちの仕事は、潜在的なバックドア攻撃に対する群集カウントモデルの脆弱性を評価するのに役立つ可能性があります。

要約(オリジナル)

Crowd counting is a regression task that estimates the number of people in a scene image, which plays a vital role in a range of safety-critical applications, such as video surveillance, traffic monitoring and flow control. In this paper, we investigate the vulnerability of deep learning based crowd counting models to backdoor attacks, a major security threat to deep learning. A backdoor attack implants a backdoor trigger into a target model via data poisoning so as to control the model’s predictions at test time. Different from image classification models on which most of existing backdoor attacks have been developed and tested, crowd counting models are regression models that output multi-dimensional density maps, thus requiring different techniques to manipulate. In this paper, we propose two novel Density Manipulation Backdoor Attacks (DMBA$^{-}$ and DMBA$^{+}$) to attack the model to produce arbitrarily large or small density estimations. Experimental results demonstrate the effectiveness of our DMBA attacks on five classic crowd counting models and four types of datasets. We also provide an in-depth analysis of the unique challenges of backdooring crowd counting models and reveal two key elements of effective attacks: 1) full and dense triggers and 2) manipulation of the ground truth counts or density maps. Our work could help evaluate the vulnerability of crowd counting models to potential backdoor attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google