Machine Unlearning in Generative AI: A Survey

要約

生成 AI テクノロジーは、(マルチモーダル) 大規模言語モデルやビジョン生成モデルなど、多くの場所に導入されています。
彼らの驚くべきパフォーマンスは、膨大なトレーニング データと新たな推論能力に起因するはずです。
ただし、モデルはトレーニング データ、特に Web クロールから得た機密情報、偏った情報、または危険な情報を記憶し、生成します。
従来の分類タスク用に設計された技術は生成 AI には適用できないため、モデルから望ましくない知識とその影響を削減または排除するための新しい機械非学習 (MU) 技術が開発されています。
新しい問題の定式化、評価方法、さまざまな種類の MU 技術の利点と限界についての体系的な議論など、生成 AI における MU に関する多くの事柄に関する包括的な調査を提供します。
また、MU 研究におけるいくつかの重要な課題と有望な方向性も示しています。
精選された読書リストは、https://github.com/franciscoliu/GenAI-MU-Reading でご覧いただけます。

要約(オリジナル)

Generative AI technologies have been deployed in many places, such as (multimodal) large language models and vision generative models. Their remarkable performance should be attributed to massive training data and emergent reasoning abilities. However, the models would memorize and generate sensitive, biased, or dangerous information originated from the training data especially those from web crawl. New machine unlearning (MU) techniques are being developed to reduce or eliminate undesirable knowledge and its effects from the models, because those that were designed for traditional classification tasks could not be applied for Generative AI. We offer a comprehensive survey on many things about MU in Generative AI, such as a new problem formulation, evaluation methods, and a structured discussion on the advantages and limitations of different kinds of MU techniques. It also presents several critical challenges and promising directions in MU research. A curated list of readings can be found: https://github.com/franciscoliu/GenAI-MU-Reading.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google