Privacy Attacks on Image AutoRegressive Models

要約

画像の自己回帰生成は、画像の自己回帰モデル（IAR）が画像品質（FID：1.48対1.58）の最先端の拡散モデル（DMS）と一致しながら、より高い世代速度を可能にし、強力な新しいパラダイムとして浮上しています。
ただし、IARに関連するプライバシーのリスクは未開拓のままであり、責任ある展開について懸念を引き起こします。
このギャップに対処するために、IARの包括的なプライバシー分析を実施し、プライバシーリスクを基準点としてDMSのリスクと比較します。
具体的には、トレーニング画像の検出で非常に高い成功率を達成する新しいメンバーシップ推論攻撃（MIA）を開発します。これは、同等の攻撃を使用したDMSのわずか6.38％に対して、偽陽性率= 1％（TPR@fpr = 1％）で86.38％の真の陽性率であります。
新しいMIAを活用して、IARに対してデータセット推論（DI）を実行し、DMSのDIの200のサンプルと比較して、データセットメンバーシップを検出するためにわずか6つのサンプルが必要であることを示しています。
これにより、IARのより高いレベルの情報漏れが確認されます。
最後に、IARから何百ものトレーニングデータポイントを抽出することができます（例：Var-D30から698）。
我々の結果は、基本的なプライバシーと有効性のトレードオフを示唆しています。IARSは画像生成の品質と速度に優れていますが、同様のパフォーマンスを達成するDMと比較して、プライバシー攻撃に対して経験的に脆弱です。
この傾向は、拡散手順を使用してトークンあたりの確率分布をモデル化するなど、DMSからの技術をIARに組み込むことが、プライバシー攻撃に対するIARの脆弱性を軽減するのに役立つ可能性があることを示唆しています。
https://github.com/sprintml/privacy_attacks_against_iarsでコードを利用できるようにします

要約(オリジナル)

Image autoregressive generation has emerged as a powerful new paradigm, with image autoregressive models (IARs) matching state-of-the-art diffusion models (DMs) in image quality (FID: 1.48 vs. 1.58) while allowing for higher generation speed. However, the privacy risks associated with IARs remain unexplored, raising concerns about their responsible deployment. To address this gap, we conduct a comprehensive privacy analysis of IARs, comparing their privacy risks to those of DMs as a reference point. Specifically, we develop a novel membership inference attack (MIA) that achieves a remarkably high success rate in detecting training images, with a True Positive Rate at False Positive Rate = 1% (TPR@FPR=1%) of 86.38%, compared to just 6.38% for DMs using comparable attacks. We leverage our novel MIA to perform dataset inference (DI) for IARs and show that it requires as few as 6 samples to detect dataset membership, compared to 200 samples for DI in DMs. This confirms a higher level of information leakage in IARs. Finally, we are able to extract hundreds of training data points from an IAR (e.g., 698 from VAR-d30). Our results suggest a fundamental privacy-utility trade-off: while IARs excel in image generation quality and speed, they are empirically significantly more vulnerable to privacy attacks compared to DMs that achieve similar performance. This trend suggests that incorporating techniques from DMs into IARs, such as modeling the per-token probability distribution using a diffusion procedure, could help mitigate IARs’ vulnerability to privacy attacks. We make our code available at: https://github.com/sprintml/privacy_attacks_against_iars

arxiv情報

提供元, 利用サービス

arxiv.jp, Google