Benchmarking Vision Language Model Unlearning via Fictitious Facial Identity Dataset

要約

マシンの非学習は、トレーニングデータの特定の情報を忘れるための効果的な戦略として浮上しています。
ただし、視覚データの統合の増加により、ビジョン言語モデル（VLM）におけるプライバシーの懸念は、採用不足のままです。
これに対処するために、フェイシャルアイデンティティの非学習ベンチマーク（fiubench）を紹介します。これは、忘れられる権利の下で未学習アルゴリズムの有効性を堅牢に評価するために設計された新しいVLM未学習ベンチマークです。
具体的には、架空の顔のアイデンティティVQAデータセットを構築することにより、VLMの未学習タスクを策定し、情報源とその露出レベルを正確に制御するように設計された2段階評価パイプラインを適用します。
評価に関しては、VLMは同じ意味の意味で質問をするさまざまな形式の方法をサポートしているため、メンバーシップ推論攻撃や、アルゴリズムのパフォーマンスを評価するために慎重に設計された敵対的なプライバシー攻撃などの堅牢な評価メトリックも提供します。
Fiubench内の4つのベースラインVLMの未学習アルゴリズムの評価を通じて、すべての方法は、モデルユーティリティと忘却の品質の間の重要なトレードオフを伴う、学習の未定パフォーマンスにおいて制限されたままであることがわかります。
さらに、私たちの調査結果は、堅牢な評価のためのプライバシー攻撃の重要性も強調しています。
Fiubenchが、より効果的なVLMの非学習アルゴリズムの開発において進歩を促進することを願っています。

要約(オリジナル)

Machine unlearning has emerged as an effective strategy for forgetting specific information in the training data. However, with the increasing integration of visual data, privacy concerns in Vision Language Models (VLMs) remain underexplored. To address this, we introduce Facial Identity Unlearning Benchmark (FIUBench), a novel VLM unlearning benchmark designed to robustly evaluate the effectiveness of unlearning algorithms under the Right to be Forgotten setting. Specifically, we formulate the VLM unlearning task via constructing the Fictitious Facial Identity VQA dataset and apply a two-stage evaluation pipeline that is designed to precisely control the sources of information and their exposure levels. In terms of evaluation, since VLM supports various forms of ways to ask questions with the same semantic meaning, we also provide robust evaluation metrics including membership inference attacks and carefully designed adversarial privacy attacks to evaluate the performance of algorithms. Through the evaluation of four baseline VLM unlearning algorithms within FIUBench, we find that all methods remain limited in their unlearning performance, with significant trade-offs between model utility and forget quality. Furthermore, our findings also highlight the importance of privacy attacks for robust evaluations. We hope FIUBench will drive progress in developing more effective VLM unlearning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google