BackdoorBench: A Comprehensive Benchmark and Analysis of Backdoor Learning

要約

ディープ ニューラル ネットワーク (DNN) の脆弱性を研究するための新たな重要なトピックとして、バックドア学習への関心が近年ますます高まっており、急速な軍拡競争の状況下で、多くの独創的なバックドア攻撃および防御アルゴリズムが連続的または同時に開発されています。
。
しかし、主に多様な設定、および既存の作業の実装と再現性の難しさにより、バックドア学習の統一および標準化されたベンチマークが欠如しており、不公平な比較や信頼性の低い結論（例：誤解を招く、偏った、または誤ったものさえも）が発生しています。
結論）。
したがって、この文献の現在の進捗状況を評価し、将来の開発ロードマップを設計することは困難です。
このジレンマを軽減するために、私たちは BackdoorBench と呼ばれるバックドア学習の包括的なベンチマークを構築しました。
私たちのベンチマークは、研究コミュニティに 3 つの貴重な貢献をしています。
1) 拡張可能なモジュールベースのコードベースに基づいて、最先端 (SOTA) バックドア学習アルゴリズム (現在 16 の攻撃アルゴリズムと 27 の防御アルゴリズムを含む) の統合実装を提供します。
2) 4 つのモデルと 4 つのデータセットに基づいて、16 の防御に対する 12 の攻撃、5 つのポイズニング率の総合評価を実行し、合計 11,492 ペアの評価を実行します。
3) 上記の評価に基づいて、18 の有用な分析ツールを介して 8 つの観点からの豊富な分析を提示し、バックドア学習に関するいくつかの刺激的な洞察を提供します。
私たちの取り組みがバックドア学習の強固な基盤を構築し、研究者が既存のアルゴリズムを調査し、より革新的なアルゴリズムを開発し、バックドア学習の本質的なメカニズムを探索することを容易にすることができれば幸いです。
最後に、コードベース、ドキュメント、リーダーボード、モデル Zoo など、BackdoorBench のすべての重要な情報を収集するユーザーフレンドリーな Web サイト http://backdoorbench.com を作成しました。

要約(オリジナル)

As an emerging and vital topic for studying deep neural networks’ vulnerability (DNNs), backdoor learning has attracted increasing interest in recent years, and many seminal backdoor attack and defense algorithms are being developed successively or concurrently, in the status of a rapid arms race. However, mainly due to the diverse settings, and the difficulties of implementation and reproducibility of existing works, there is a lack of a unified and standardized benchmark of backdoor learning, causing unfair comparisons, and unreliable conclusions (e.g., misleading, biased or even false conclusions). Consequently, it is difficult to evaluate the current progress and design the future development roadmap of this literature. To alleviate this dilemma, we build a comprehensive benchmark of backdoor learning called BackdoorBench. Our benchmark makes three valuable contributions to the research community. 1) We provide an integrated implementation of state-of-the-art (SOTA) backdoor learning algorithms (currently including 16 attack and 27 defense algorithms), based on an extensible modular-based codebase. 2) We conduct comprehensive evaluations of 12 attacks against 16 defenses, with 5 poisoning ratios, based on 4 models and 4 datasets, thus 11,492 pairs of evaluations in total. 3) Based on above evaluations, we present abundant analysis from 8 perspectives via 18 useful analysis tools, and provide several inspiring insights about backdoor learning. We hope that our efforts could build a solid foundation of backdoor learning to facilitate researchers to investigate existing algorithms, develop more innovative algorithms, and explore the intrinsic mechanism of backdoor learning. Finally, we have created a user-friendly website at http://backdoorbench.com, which collects all important information of BackdoorBench, including codebase, docs, leaderboard, and model Zoo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google