SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning

要約

大規模言語モデル (LLM) は、データ規制と倫理的な AI 実践に準拠するための効果的なアンラーニング メカニズムの必要性を強調しています。
LLM のアンラーニングは、アンラーニングの範囲外でユーティリティを損なうことなく、望ましくないデータの影響と関連するモデルの機能を削除することを目的としています。
LLM アンラーニングの研究への関心は高まっていますが、LLM アンラーニングに対するオプティマイザーの選択の影響はまだ調査されていません。
この研究では、LLM の非学習におけるオプティマイザ選択の重要性を初めて明らかにし、{2 次最適化} と影響の非学習 (影響関数を使用してデータの影響を除去するためのモデルを更新する古典的なアプローチ) の間の明確な関係を確立しました。
）。
この洞察により、二次クリップ確率最適化 (Sophia) ベースの LLM トレーニング手法に基づいて構築された、SOUL と呼ばれる二次非学習フレームワークの開発が推進されます。
SOUL は、影響力のアンラーニングを使用した静的なワンショットのモデル更新を、動的な反復的なアンラーニング プロセスに拡張します。
私たちの広範な実験では、SOUL がさまざまな非学習タスク、モデル、メトリクスにわたって従来の一次手法を常に上回っていることが示されており、LLM 非学習にスケーラブルで簡単に実装可能なソ​​リューションを提供する上で二次最適化が期待できることを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have highlighted the necessity of effective unlearning mechanisms to comply with data regulations and ethical AI practices. LLM unlearning aims at removing undesired data influences and associated model capabilities without compromising utility out of the scope of unlearning. While interest in studying LLM unlearning is growing,the impact of the optimizer choice for LLM unlearning remains under-explored. In this work, we shed light on the significance of optimizer selection in LLM unlearning for the first time, establishing a clear connection between {second-order optimization} and influence unlearning (a classical approach using influence functions to update the model for data influence removal). This insight propels us to develop a second-order unlearning framework, termed SOUL, built upon the second-order clipped stochastic optimization (Sophia)-based LLM training method. SOUL extends the static, one-shot model update using influence unlearning to a dynamic, iterative unlearning process. Our extensive experiments show that SOUL consistently outperforms conventional first-order methods across various unlearning tasks, models, and metrics, suggesting the promise of second-order optimization in providing a scalable and easily implementable solution for LLM unlearning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google