SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning

要約

大規模言語モデル(LLM)は、データ規制と倫理的なAIの実践を遵守するために、効果的な学習解除メカニズムの必要性を強調している。LLMの非学習は、非学習の範囲外の有用性を損なうことなく、望ましくないデータの影響と関連するモデルの能力を除去することを目的としています。LLM非学習の研究に対する関心は高まっているが、LLM非学習におけるオプティマイザ選択の影響については、まだ十分に研究されていない。本研究では、LLM学習解除におけるオプティマイザ選択の重要性に初めて光を当て、｛2次最適化｝と影響学習解除（データの影響除去のために影響関数を用いてモデルを更新する古典的なアプローチ）との明確な関連性を確立する。この洞察により、2次クリッピング確率最適化(Sophia)に基づくLLM学習法をベースに、SOULと呼ばれる2次非学習フレームワークを開発することになった。SOULは、影響力学習による静的な1ショットモデル更新を、動的な反復学習プロセスへと拡張する。我々の広範な実験により、SOULは、様々な学習解除タスク、モデル、測定基準において、従来の1次手法を一貫して上回ることが示され、LLM学習解除のためのスケーラブルで容易に実装可能なソリューションを提供する2次最適化の有望性が示唆された。

要約(オリジナル)

Large Language Models (LLMs) have highlighted the necessity of effective unlearning mechanisms to comply with data regulations and ethical AI practices. LLM unlearning aims at removing undesired data influences and associated model capabilities without compromising utility out of the scope of unlearning. While interest in studying LLM unlearning is growing,the impact of the optimizer choice for LLM unlearning remains under-explored. In this work, we shed light on the significance of optimizer selection in LLM unlearning for the first time, establishing a clear connection between {second-order optimization} and influence unlearning (a classical approach using influence functions to update the model for data influence removal). This insight propels us to develop a second-order unlearning framework, termed SOUL, built upon the second-order clipped stochastic optimization (Sophia)-based LLM training method. SOUL extends the static, one-shot model update using influence unlearning to a dynamic, iterative unlearning process. Our extensive experiments show that SOUL consistently outperforms conventional first-order methods across various unlearning tasks, models, and metrics, suggesting the promise of second-order optimization in providing a scalable and easily implementable solution for LLM unlearning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL