An anomaly detection approach for backdoored neural networks: face recognition as a case study

要約

バックドア攻撃により、攻撃者は機械学習の有無にかかわらず、アルゴリズムの適切な動作を危険にさらす機能を埋め込むことができます。
この隠された機能は、攻撃者によってアクティブ化されるまで、アルゴリズムの通常の使用では非アクティブのままになる可能性があります。
バックドア攻撃のステルス性を考えると、国境やアクセス制御などの重要なアプリケーションにそのようなネットワークが展開された場合、これらのバックドアの結果は壊滅的なものになる可能性があります。
この論文では、トレーニングデータのクリーンな部分とトレーニングされたネットワークへのアクセスを含む、異常検出の原理に基づく新しいバックドアネットワーク検出方法を提案します。
バックドアの性質とそのセットアップについて何の仮定も必要とせずに、さまざまなトリガー、場所、ID ペアを検討する際に、その有望な可能性を強調します。
バックドア ネットワークの新しいデータセットでこの方法をテストし、完全なスコアで検出可能性の結果を報告します。

要約(オリジナル)

Backdoor attacks allow an attacker to embed functionality jeopardizing proper behavior of any algorithm, machine learning or not. This hidden functionality can remain inactive for normal use of the algorithm until activated by the attacker. Given how stealthy backdoor attacks are, consequences of these backdoors could be disastrous if such networks were to be deployed for applications as critical as border or access control. In this paper, we propose a novel backdoored network detection method based on the principle of anomaly detection, involving access to the clean part of the training data and the trained network. We highlight its promising potential when considering various triggers, locations and identity pairs, without the need to make any assumptions on the nature of the backdoor and its setup. We test our method on a novel dataset of backdoored networks and report detectability results with perfect scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google