Rethinking LLM Unlearning Objectives: A Gradient Perspective and Go Beyond

要約

大規模な言語モデル（LLMS）は、著作権やプライバシー侵害などの潜在的なリスクを特定するために厳しい監査を受ける必要があります。
これらのリスクが発生すると、望ましくない応答を削除するためにタイムリーな更新が重要であり、法的および安全なモデルの使用を確保します。
それは、LLMの学習に関する最近の研究に拍車をかけ、他のターゲットの反応の完全性を損なうことなくターゲットを絞った望ましくない知識を消去することに焦点を当てています。
既存の研究では、完全な再訓練を必要とせずにLLMの学習を追求するために、さまざまな学習目標を導入しました。
ただし、これらの目的にはそれぞれ独自のプロパティがあり、現在統一されたフレームワークは徹底的に理解することはできません。
ギャップを埋めるために、グラデーション効果（G-Effect）のツールキットを提案し、勾配の観点からモデルのパフォーマンスに及ぼす目標を達成することの影響を定量化します。
顕著な利点は、インスタンス全体のさまざまな側面からの学習の影響を詳述する幅広い能力、ステップ、およびLLMレイヤーの幅広い能力です。
したがって、G-effectは、既存の未学習目標の欠点を特定するための新しい洞察を提供し、緩和と改善のための一連の新しいソリューションを探求する動機をさらに動機付けます。
最後に、この重要な分野を進めるためにコミュニティに貢献することを目的とした、さらなる研究に値する有望な方向性の概要を説明します。

要約(オリジナル)

Large language models (LLMs) should undergo rigorous audits to identify potential risks, such as copyright and privacy infringements. Once these risks emerge, timely updates are crucial to remove undesirable responses, ensuring legal and safe model usage. It has spurred recent research into LLM unlearning, focusing on erasing targeted undesirable knowledge without compromising the integrity of other, non-targeted responses. Existing studies have introduced various unlearning objectives to pursue LLM unlearning without necessitating complete retraining. However, each of these objectives has unique properties, and no unified framework is currently available to comprehend them thoroughly. To fill the gap, we propose a toolkit of the gradient effect (G-effect), quantifying the impacts of unlearning objectives on model performance from a gradient perspective. A notable advantage is its broad ability to detail the unlearning impacts from various aspects across instances, updating steps, and LLM layers. Accordingly, the G-effect offers new insights into identifying drawbacks of existing unlearning objectives, further motivating us to explore a series of new solutions for their mitigation and improvements. Finally, we outline promising directions that merit further studies, aiming at contributing to the community to advance this important field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google