Label-Agnostic Forgetting: A Supervision-Free Unlearning in Deep Models

要約

機械のアンラーニングは、よく訓練されたモデルに残っているデータセットの情報を保持しながら、忘れられたデータから得られた情報を削除することを目的としています。
データプライバシーの重要性が高まるにつれ、機械の非学習に対するいくつかのアプローチが登場しています。
ただし、これらの方法は通常、非学習プロセス全体を通じて完全な監視に依存します。
残念ながら、現実世界のデータセットに注釈を付けるのには多大なコストがかかるため、データの忘却や残存に関わらず、そのような監視を得るのは現実的ではない可能性があります。
この課題により、私たちは、再学習プロセス中にラベルを必要とせずに動作する、監視不要の再学習アプローチを提案するようになりました。
具体的には、残りのデータの表現の分布を近似する変分アプローチを導入します。
この近似を利用して、元のモデルを適応させて、表現レベルで忘れられたデータから情報を削除します。
グランド トゥルースとの整合を妨げる監視情報の欠如の問題にさらに対処するために、残りのデータと元のモデルの表現の一致を容易にする対照的な損失を導入し、予測パフォーマンスを維持します。
さまざまな非学習タスクにわたる実験結果は、ラベルを使用せずに提案した手法であるラベル非依存忘却 (LAF) の有効性を示しており、完全な監視情報に依存する最先端の手法と同等のパフォーマンスを達成します。
さらに、私たちのアプローチは半教師ありシナリオに優れており、限定された教師情報を活用して完全教師ありのベースラインを上回るパフォーマンスを発揮します。
この研究は、深層モデルにおける教師なしの再学習の実行可能性を示すだけでなく、表現レベルでの再学習における将来の研究に新たな可能性を切り開きます。

要約(オリジナル)

Machine unlearning aims to remove information derived from forgotten data while preserving that of the remaining dataset in a well-trained model. With the increasing emphasis on data privacy, several approaches to machine unlearning have emerged. However, these methods typically rely on complete supervision throughout the unlearning process. Unfortunately, obtaining such supervision, whether for the forgetting or remaining data, can be impractical due to the substantial cost associated with annotating real-world datasets. This challenge prompts us to propose a supervision-free unlearning approach that operates without the need for labels during the unlearning process. Specifically, we introduce a variational approach to approximate the distribution of representations for the remaining data. Leveraging this approximation, we adapt the original model to eliminate information from the forgotten data at the representation level. To further address the issue of lacking supervision information, which hinders alignment with ground truth, we introduce a contrastive loss to facilitate the matching of representations between the remaining data and those of the original model, thus preserving predictive performance. Experimental results across various unlearning tasks demonstrate the effectiveness of our proposed method, Label-Agnostic Forgetting (LAF) without using any labels, which achieves comparable performance to state-of-the-art methods that rely on full supervision information. Furthermore, our approach excels in semi-supervised scenarios, leveraging limited supervision information to outperform fully supervised baselines. This work not only showcases the viability of supervision-free unlearning in deep models but also opens up a new possibility for future research in unlearning at the representation level.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google