MIBench: A Comprehensive Framework for Benchmarking Model Inversion Attack and Defense

要約

モデル反転（MI）攻撃は、ターゲットモデルの出力情報を活用してプライバシーに敏感なトレーニングデータを再構築し、ディープニューラルネットワーク（DNNS）のプライバシーの脆弱性に関する重要な懸念を引き起こすことを目的としています。
残念ながら、MI攻撃の急速な進化と並行して、標準化されたメトリックと再現可能な実装を備えた包括的なベンチマークの欠如が恐ろしい課題として浮上しています。
この欠陥は、方法論的進歩の客観的な比較と防衛効果の信頼できる評価を妨げています。
このクリティカルギャップに対処するために、モデルの反転攻撃と防御の体系的な評価のために、Mibenchという名前の最初の実用的なベンチマークを構築します。
このベンチマークは、現在19の最先端の攻撃および防御方法を統合し、9つの標準化された評価プロトコルを包含する拡張可能で再現可能なモジュラーベースのツールボックスに基づいています。
この基盤を活用すると、複数の視点から広範な評価を実施して、ターゲット解像度、モデルの予測力、防衛パフォーマンス、敵対的堅牢性の影響など、さまざまなシナリオでさまざまな方法を総合的に比較および分析します。

要約(オリジナル)

Model Inversion (MI) attacks aim at leveraging the output information of target models to reconstruct privacy-sensitive training data, raising critical concerns regarding the privacy vulnerabilities of Deep Neural Networks (DNNs). Unfortunately, in tandem with the rapid evolution of MI attacks, the absence of a comprehensive benchmark with standardized metrics and reproducible implementations has emerged as a formidable challenge. This deficiency has hindered objective comparison of methodological advancements and reliable assessment of defense efficacy. To address this critical gap, we build the first practical benchmark named MIBench for systematic evaluation of model inversion attacks and defenses. This benchmark bases on an extensible and reproducible modular-based toolbox which currently integrates a total of 19 state-of-the-art attack and defense methods and encompasses 9 standardized evaluation protocols. Capitalizing on this foundation, we conduct extensive evaluation from multiple perspectives to holistically compare and analyze various methods across different scenarios, such as the impact of target resolution, model predictive power, defense performance and adversarial robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google