MMUnlearner: Reformulating Multimodal Machine Unlearning in the Era of Multimodal Large Language Models

要約

Machine Inlerning（MU）の最近の進捗状況は、深いニューラルネットワーク内でエンコードされたプライベートまたは機密情報を選択的に除去するためのソリューションを導入しました。
それにもかかわらず、マルチモーダルの大手言語モデル（MLLM）のMUは、初期段階のままです。
したがって、MLLMSの時代にマルチモーダルMUのタスクを再定式化することを提案します。これは、言語モデルのバックボーンの元のパラメーター内でエンコードされた対応するテキスト知識を保存しながら、特定のエンティティに関連する視覚パターンのみを消去することを目的としています。
さらに、新しいジオメトリに制約された勾配上昇方法mmunlearnerを開発します。
MLLMの重量を、学習中に残りの概念とテキストの知識によって共同で制限されている重量の顕著性マップで更新され、それにより、非標的知識に不可欠なパラメーターを維持します。
広範な実験は、MmunLearnerが、すべての評価ディメンションにわたって、勾配上昇（GA）または負の好みの最適化（NPO）を介してVQAデータでMLLMを直接微調整するベースラインを上回ることを示しています。
私たちのコードは、受け入れられるとリリースされます。

要約(オリジナル)

Recent progress in Machine Unlearning (MU) has introduced solutions for the selective removal of private or sensitive information encoded within deep neural networks. Nonetheless, MU for Multimodal Large Language Models (MLLMs) remains in its nascent phase. Therefore, we propose to reformulate the task of multimodal MU in the era of MLLMs, which aims to erase only the visual patterns associated with a given entity while preserving the corresponding textual knowledge encoded within the original parameters of the language model backbone. Furthermore, we develop a novel geometry-constrained gradient ascent method MMUnlearner. It updates the weights of MLLMs with a weight saliency map jointly restricted by the remaining concepts and textual knowledge during unlearning, thereby preserving parameters essential for non-target knowledge. Extensive experiments demonstrate that MMUnlearner surpasses baselines that finetuning MLLMs with VQA data directly through Gradient Ascent (GA) or Negative Preference Optimization (NPO), across all evaluation dimensions. Our code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google