A Unified and Scalable Membership Inference Method for Visual Self-supervised Encoder via Part-aware Capability

要約

自己教師の学習は、広範な非標識データを利用することに有望ですが、特にビジョンにおいて、重大なプライバシーの懸念にも直面しています。
このホワイトペーパーでは、より現実的な設定で視覚的に自己監視されたモデルに関するメンバーシップ推論を実行します。自己教師のトレーニング方法と詳細は、実際にブラックボックスシステムに直面しているため、攻撃する際に敵にとって不明です。
この設定では、自己監視モデルがまったく異なる自己監視パラダイム、たとえばマスクされた画像モデリングと対照学習、複雑なトレーニングの詳細を使用して、Partcropと呼ばれる統一されたメンバーシップ推論方法によってトレーニングできることを考慮します。
これは、モデル間で共有されたパートアウェア機能と、トレーニングデータのより強いパーツ応答によって動機付けられています。
具体的には、パートクロップは、表現空間内の画像内の応答を照会するために、画像にオブジェクトの一部を収穫します。
3つの広く使用されている画像データセットを使用して、さまざまなトレーニングプロトコルと構造を使用して、自己監視モデルに対して広範な攻撃を実施しています。
結果は、パートクロップの有効性と一般化を検証します。
さらに、PartCropを防御するために、2つの一般的なアプローチ、つまり早期停止と差別的なプライバシーを評価し、収縮する作物尺度範囲と呼ばれる調整された方法を提案します。
防衛実験は、それらすべてが効果的であることを示しています。
最後に、Toy Visual Encodersと小規模画像データセットでのプロトタイプテストに加えて、現実的なシナリオでのデータとモデルの両方の側面からのスケーリングの影響を定量的に研究し、PartCropに2つの構造改善を導入することにより、スケーラブルなPartCrop-V2を提案します。
私たちのコードはhttps://github.com/jiepku/partcropにあります。

要約(オリジナル)

Self-supervised learning shows promise in harnessing extensive unlabeled data, but it also confronts significant privacy concerns, especially in vision. In this paper, we perform membership inference on visual self-supervised models in a more realistic setting: self-supervised training method and details are unknown for an adversary when attacking as he usually faces a black-box system in practice. In this setting, considering that self-supervised model could be trained by completely different self-supervised paradigms, e.g., masked image modeling and contrastive learning, with complex training details, we propose a unified membership inference method called PartCrop. It is motivated by the shared part-aware capability among models and stronger part response on the training data. Specifically, PartCrop crops parts of objects in an image to query responses within the image in representation space. We conduct extensive attacks on self-supervised models with different training protocols and structures using three widely used image datasets. The results verify the effectiveness and generalization of PartCrop. Moreover, to defend against PartCrop, we evaluate two common approaches, i.e., early stop and differential privacy, and propose a tailored method called shrinking crop scale range. The defense experiments indicate that all of them are effective. Finally, besides prototype testing on toy visual encoders and small-scale image datasets, we quantitatively study the impacts of scaling from both data and model aspects in a realistic scenario and propose a scalable PartCrop-v2 by introducing two structural improvements to PartCrop. Our code is at https://github.com/JiePKU/PartCrop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google