Protecting Privacy in Multimodal Large Language Models with MLLMU-Bench

要約

大規模言語モデル (LLM) やマルチモーダル大規模言語モデル (MLLM) などの大規模な Web コーパスでトレーニングされた生成モデルは、個人の機密データや個人データを記憶および開示する可能性があり、法的および倫理的な懸念が生じます。
これまでの多くの研究では、機械の非学習を通じて LLM のこの問題に対処してきましたが、MLLM ではまだほとんど解明されていません。
この課題に取り組むために、マルチモーダルな機械のアンラーニングの理解を進めることを目的とした新しいベンチマークである、マルチモーダル大規模言語モデルアンラーニング ベンチマーク (MLLMU-Bench) を紹介します。
MLLMU-Bench は 500 の架空のプロフィールと公の有名人の 153 のプロフィールで構成されており、各プロフィールは 14 のカスタマイズされた質問と回答のペアを特徴としており、マルチモーダル (画像 + テキスト) とユニモーダル (テキスト) の両方の観点から評価されます。
ベンチマークは、有効性、一般化可能性、モデルの有用性の観点から非学習アルゴリズムを評価するために 4 つのセットに分割されています。
最後に、既存の生成モデルの非学習アルゴリズムを使用してベースラインの結果を提供します。
驚くべきことに、私たちの実験では、単峰性の非学習アルゴリズムが生成タスクと閉包タスクで優れているのに対し、多峰性の非学習アプローチは、多峰性の入力を伴う分類タスクでより優れたパフォーマンスを発揮することが示されました。

要約(オリジナル)

Generative models such as Large Language Models (LLM) and Multimodal Large Language models (MLLMs) trained on massive web corpora can memorize and disclose individuals’ confidential and private data, raising legal and ethical concerns. While many previous works have addressed this issue in LLM via machine unlearning, it remains largely unexplored for MLLMs. To tackle this challenge, we introduce Multimodal Large Language Model Unlearning Benchmark (MLLMU-Bench), a novel benchmark aimed at advancing the understanding of multimodal machine unlearning. MLLMU-Bench consists of 500 fictitious profiles and 153 profiles for public celebrities, each profile feature over 14 customized question-answer pairs, evaluated from both multimodal (image+text) and unimodal (text) perspectives. The benchmark is divided into four sets to assess unlearning algorithms in terms of efficacy, generalizability, and model utility. Finally, we provide baseline results using existing generative model unlearning algorithms. Surprisingly, our experiments show that unimodal unlearning algorithms excel in generation and cloze tasks, while multimodal unlearning approaches perform better in classification tasks with multimodal inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google