CLIPping Privacy: Identity Inference Attacks on Multi-Modal Machine Learning Models

要約

現在、ディープ ラーニングは多くの実世界のアプリケーションで使用されているため、ディープ ラーニング モデルのプライバシーと、攻撃者がトレーニング データに関する機密情報を取得するのを防ぐ方法にますます焦点が当てられています。
ただし、CLIP のような画像テキスト モデルは、プライバシー攻撃のコンテキストではまだ検討されていません。
メンバーシップ推論攻撃は、特定のデータ ポイントがトレーニングに使用されたかどうかを伝えることを目的としていますが、CLIP のようなマルチモーダル イメージ テキスト モデル用に設計された、ID 推論攻撃 (IDIA) と呼ばれる新しいタイプのプライバシー攻撃を紹介します。
攻撃者は IDIA を使用して、同じ人物のさまざまな画像を使用してブラックボックス方式でモデルをクエリすることにより、特定の人物がトレーニング データの一部であったかどうかを明らかにできます。
モデルがさまざまなテキスト ラベルから選択できるようにすることで、攻撃者は、モデルが人物を認識してトレーニングに使用されたかどうかを調べることができます。
CLIP でのいくつかの実験を通じて、攻撃者がトレーニングに使用された個人を非常に高い精度で識別できること、およびモデルが名前と描写された人物を関連付けることを学習することを示しました。
私たちの実験では、マルチモーダルな画像とテキストのモデルが実際にそのトレーニング データに関する機密情報を漏洩するため、注意して取り扱う必要があることが示されています。

要約(オリジナル)

As deep learning is now used in many real-world applications, research has focused increasingly on the privacy of deep learning models and how to prevent attackers from obtaining sensitive information about the training data. However, image-text models like CLIP have not yet been looked at in the context of privacy attacks. While membership inference attacks aim to tell whether a specific data point was used for training, we introduce a new type of privacy attack, named identity inference attack (IDIA), designed for multi-modal image-text models like CLIP. Using IDIAs, an attacker can reveal whether a particular person, was part of the training data by querying the model in a black-box fashion with different images of the same person. Letting the model choose from a wide variety of possible text labels, the attacker can probe the model whether it recognizes the person and, therefore, was used for training. Through several experiments on CLIP, we show that the attacker can identify individuals used for training with very high accuracy and that the model learns to connect the names with the depicted people. Our experiments show that a multi-modal image-text model indeed leaks sensitive information about its training data and, therefore, should be handled with care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google