Is my Data in your AI Model? Membership Inference Test with Application to Face Images

要約

この記事では、AI/ML モデルのトレーニング中に特定のデータが使用されたかどうかを経験的に評価することを目的とした新しいアプローチである Membership Inference Test (MINT) を紹介します。
具体的には、監査済みモデルがトレーニング プロセス中に使用されるデータにさらされたときに現れる明確なアクティベーション パターンを学習するように設計された 2 つの MINT アーキテクチャを提案します。
これらのアーキテクチャは、多層パーセプトロン (MLP) と畳み込みニューラル ネットワーク (CNN) に基づいています。
この実験フレームワークは、3 つの最先端の顔認識システムを考慮して、顔認識という困難なタスクに焦点を当てています。
実験は、合計 2,200 万件以上の顔画像を含む 6 つの公的に利用可能なデータベースを使用して実行されました。
テストする AI モデルのコンテキストに応じて、さまざまな実験シナリオが考慮されます。
私たちが提案する MINT アプローチは、最大 90% の精度で有望な結果を達成し、AI モデルが特定のデータでトレーニングされているかどうかを認識できる可能性を示しています。
提案されている MINT アプローチは、大規模言語モデル (LLM) のトレーニングやチューニングに機密データやプライベート データが使用されたかどうかを明らかにするなど、いくつかの AI アプリケーションでプライバシーと公平性を強制するのに役立ちます。

要約(オリジナル)

This article introduces the Membership Inference Test (MINT), a novel approach that aims to empirically assess if given data was used during the training of AI/ML models. Specifically, we propose two MINT architectures designed to learn the distinct activation patterns that emerge when an Audited Model is exposed to data used during its training process. These architectures are based on Multilayer Perceptrons (MLPs) and Convolutional Neural Networks (CNNs). The experimental framework focuses on the challenging task of Face Recognition, considering three state-of-the-art Face Recognition systems. Experiments are carried out using six publicly available databases, comprising over 22 million face images in total. Different experimental scenarios are considered depending on the context of the AI model to test. Our proposed MINT approach achieves promising results, with up to 90% accuracy, indicating the potential to recognize if an AI model has been trained with specific data. The proposed MINT approach can serve to enforce privacy and fairness in several AI applications, e.g., revealing if sensitive or private data was used for training or tuning Large Language Models (LLMs).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google