Membership Inference Attack Against Masked Image Modeling

要約

マスク イメージ モデリング (MIM) は、視覚認識のための自己教師あり学習 (SSL) の分野で大きな成功を収めています。
MIM を通じて事前トレーニングされた画像エンコーダーは、入力画像のマスキングとその後の再構成を伴い、さまざまな下流の視覚タスクで最先端のパフォーマンスを実現します。
ただし、既存の研究のほとんどは MIM のパフォーマンスの向上に焦点を当てています。この研究では、MIM の事前トレーニング データのプライバシーを研究することで、別の角度から取り組みます。
具体的には、MIM によって事前トレーニングされた画像エンコーダーに対する最初のメンバーシップ推論攻撃を提案します。これは、画像が MIM 事前トレーニング データセットの一部であるかどうかを判断することを目的としています。
重要な設計は、MIM の事前トレーニング パラダイム、つまり画像マスキングとその後の再構成をシミュレートし、再構成誤差を取得することです。
エンコーダは、より低いエラーでトレーニング セット内の入力画像を再構成できるため、これらの再構成エラーは、攻撃目標を達成するためのメンバーシップ信号として機能します。
3 つのモデル アーキテクチャと 3 つのベンチマーク データセットに対して広範な評価が行われます。
経験的な結果は、私たちの攻撃がベースラインの方法よりも優れていることを示しています。
さらに、攻撃のパフォーマンスに影響を与える可能性のある複数の要因を分析するために、複雑なアブレーション研究を行っています。

要約(オリジナル)

Masked Image Modeling (MIM) has achieved significant success in the realm of self-supervised learning (SSL) for visual recognition. The image encoder pre-trained through MIM, involving the masking and subsequent reconstruction of input images, attains state-of-the-art performance in various downstream vision tasks. However, most existing works focus on improving the performance of MIM.In this work, we take a different angle by studying the pre-training data privacy of MIM. Specifically, we propose the first membership inference attack against image encoders pre-trained by MIM, which aims to determine whether an image is part of the MIM pre-training dataset. The key design is to simulate the pre-training paradigm of MIM, i.e., image masking and subsequent reconstruction, and then obtain reconstruction errors. These reconstruction errors can serve as membership signals for achieving attack goals, as the encoder is more capable of reconstructing the input image in its training set with lower errors. Extensive evaluations are conducted on three model architectures and three benchmark datasets. Empirical results show that our attack outperforms baseline methods. Additionally, we undertake intricate ablation studies to analyze multiple factors that could influence the performance of the attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google