SoK: Data Reconstruction Attacks Against Machine Learning Models: Definition, Metrics, and Benchmark

要約

アクセスが制限されているターゲットモデルのトレーニングデータセットを回復することを目的としたデータ再構成攻撃は、近年注目を集めています。
ただし、現在、データ再構成攻撃の正式な定義や品質を測定するための適切な評価メトリックに関するコンセンサスはありません。
この厳格な定義と普遍的な指標の欠如は、この分野でのさらなる進歩を妨げています。
この論文では、統一された攻撃分類法とデータ再構成攻撃の正式な定義を提案することにより、この問題にVisionドメインでこの問題に取り組みます。
最初に、定量化可能性、一貫性、精度、多様性などの重要な基準を考慮する一連の定量的評価メトリックを提案します。
さらに、人間の判断の代わりとして大規模な言語モデル（LLM）を活用し、高品質の再構成に重点を置いて視覚的評価を可能にします。
提案された分類法と指標を使用して、既存の攻撃の強みと制限を体系的に評価し、将来の研究のベンチマークを確立するための統一されたフレームワークを提示します。
主に暗記の観点からの経験的結果は、メトリックの有効性を検証するだけでなく、新しい攻撃を設計するための貴重な洞察を提供します。

要約(オリジナル)

Data reconstruction attacks, which aim to recover the training dataset of a target model with limited access, have gained increasing attention in recent years. However, there is currently no consensus on a formal definition of data reconstruction attacks or appropriate evaluation metrics for measuring their quality. This lack of rigorous definitions and universal metrics has hindered further advancement in this field. In this paper, we address this issue in the vision domain by proposing a unified attack taxonomy and formal definitions of data reconstruction attacks. We first propose a set of quantitative evaluation metrics that consider important criteria such as quantifiability, consistency, precision, and diversity. Additionally, we leverage large language models (LLMs) as a substitute for human judgment, enabling visual evaluation with an emphasis on high-quality reconstructions. Using our proposed taxonomy and metrics, we present a unified framework for systematically evaluating the strengths and limitations of existing attacks and establishing a benchmark for future research. Empirical results, primarily from a memorization perspective, not only validate the effectiveness of our metrics but also offer valuable insights for designing new attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google