Privacy Attacks on Image AutoRegressive Models

要約

画像自己回帰（IAR）モデルは、画質（FID：1.48対1.58）と生成速度の両方で拡散モデル（DM）を凌駕している。しかし、そのプライバシーリスクはほとんど未解明のままである。この問題に対処するため、我々はIARとDMを比較する包括的なプライバシー分析を行う。我々は、訓練画像の検出において有意に高い成功率（TPR@FPR=1%：IARの86.38%対DMの4.91%）を達成する新しいメンバーシップ推論攻撃（MIA）を開発する。このMIAを用いてデータセット推論(DI)を行ったところ、データセットメンバーシップを検出するのに必要なサンプル数は、DMが200サンプルであるのに対し、IARは6サンプルと少なく、情報漏えいが多いことがわかった。さらに、IARから数百のトレーニング画像を抽出します（例えば、VAR-d30から698）。我々の発見は、基本的なプライバシーとユーティリティのトレードオフを浮き彫りにしました：IARは生成品質とスピードに優れていますが、プライバシー攻撃に対して著しく脆弱です。このことは、拡散を利用したトークンごとの確率モデリングなど、DMの技術を取り入れることで、IARのプライバシーリスクを軽減できることを示唆している。我々のコードはhttps://github.com/sprintml/privacy_attacks_against_iars。

要約(オリジナル)

Image autoregressive (IAR) models have surpassed diffusion models (DMs) in both image quality (FID: 1.48 vs. 1.58) and generation speed. However, their privacy risks remain largely unexplored. To address this, we conduct a comprehensive privacy analysis comparing IARs to DMs. We develop a novel membership inference attack (MIA) that achieves a significantly higher success rate in detecting training images (TPR@FPR=1%: 86.38% for IARs vs. 4.91% for DMs). Using this MIA, we perform dataset inference (DI) and find that IARs require as few as six samples to detect dataset membership, compared to 200 for DMs, indicating higher information leakage. Additionally, we extract hundreds of training images from an IAR (e.g., 698 from VAR-d30). Our findings highlight a fundamental privacy-utility trade-off: while IARs excel in generation quality and speed, they are significantly more vulnerable to privacy attacks. This suggests that incorporating techniques from DMs, such as per-token probability modeling using diffusion, could help mitigate IARs’ privacy risks. Our code is available at https://github.com/sprintml/privacy_attacks_against_iars.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL