CLEAR: Character Unlearning in Textual and Visual Modalities

要約

機械学習 (MU) は、特定の個人情報や危険な情報を削除することにより、深層学習モデル、特に大規模なマルチモーダル言語モデル (MLLM) のプライバシーとセキュリティを強化するために重要です。
MU はテキストおよびビジュアル モダリティで大きな進歩を遂げましたが、マルチモーダル アンラーニング (MMU) については、適切なオープンソース ベンチマークが存在しないこともあり、依然として十分に研究されていません。
これに対処するために、MMU メソッドを評価するために設計された新しいベンチマークである CLEAR を導入します。
CLEAR には、200 人の架空の人物と、対応する質問と回答のペアにリンクされた 3,700 枚の画像が含まれており、モダリティ全体での徹底的な評価が可能です。
私たちは 10 の MU 手法を評価し、それらを MMU に適応させ、マルチモーダル忘却に特有の新たな課題を浮き彫りにします。
また、LoRA 重みに対する単純な $\ell_1$ 正則化により、致命的な忘却が大幅に軽減され、保持されたデータに対するモデルのパフォーマンスが維持されることも実証します。
データセットは https://huggingface.co/datasets/therem/CLEAR で入手できます。

要約(オリジナル)

Machine Unlearning (MU) is critical for enhancing privacy and security in deep learning models, particularly in large multimodal language models (MLLMs), by removing specific private or hazardous information. While MU has made significant progress in textual and visual modalities, multimodal unlearning (MMU) remains significantly underexplored, partially due to the absence of a suitable open-source benchmark. To address this, we introduce CLEAR, a new benchmark designed to evaluate MMU methods. CLEAR contains 200 fictitious individuals and 3,700 images linked with corresponding question-answer pairs, enabling a thorough evaluation across modalities. We assess 10 MU methods, adapting them for MMU, and highlight new challenges specific to multimodal forgetting. We also demonstrate that simple $\ell_1$ regularization on LoRA weights significantly mitigates catastrophic forgetting, preserving model performance on retained data. The dataset is available at https://huggingface.co/datasets/therem/CLEAR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google