Distribution-Level Feature Distancing for Machine Unlearning: Towards a Better Trade-off Between Model Utility and Forgetting

要約

深層学習アプリケーションの爆発的な成長とプライバシーへの懸念の高まりに伴い、忘れられる権利はさまざまな AI 業界で重要な要件となっています。
たとえば、顔認識システムを使用すると、トレーニング段階で使用された可能性のある個人データを削除したいと思う人もいるかもしれません。
残念ながら、ディープ ニューラル ネットワークは個人情報を予期せず漏洩することがあるため、この削除が困難になります。
最近の機械非学習アルゴリズムは、モデルが特定のデータを忘れられるようにすることを目的としていますが、我々は、画像の特徴と真のラベルの間の本質的な相関が忘却の過程で弱まる、意図しない効用低下相関崩壊を特定しました。
この課題に対処するために、タスクに関連した特徴の相関関係を維持しながらインスタンスを効率的に忘れる新しい方法である配布レベルの特徴距離 (DLFD) を提案します。
私たちの方法は、忘れられたサンプルの分布とは明らかに異なるように特徴分布を最適化することによってデータ サンプルを合成し、単一のトレーニング エポック内で効果的な結果を達成します。
顔認識データセットに関する広範な実験を通じて、私たちのアプローチが忘却性能とモデルユーティリティの保存の両方において最先端の機械非学習手法よりも大幅に優れていることを実証しました。

要約(オリジナル)

With the explosive growth of deep learning applications and increasing privacy concerns, the right to be forgotten has become a critical requirement in various AI industries. For example, given a facial recognition system, some individuals may wish to remove their personal data that might have been used in the training phase. Unfortunately, deep neural networks sometimes unexpectedly leak personal identities, making this removal challenging. While recent machine unlearning algorithms aim to enable models to forget specific data, we identify an unintended utility drop-correlation collapse-in which the essential correlations between image features and true labels weaken during the forgetting process. To address this challenge, we propose Distribution-Level Feature Distancing (DLFD), a novel method that efficiently forgets instances while preserving task-relevant feature correlations. Our method synthesizes data samples by optimizing the feature distribution to be distinctly different from that of forget samples, achieving effective results within a single training epoch. Through extensive experiments on facial recognition datasets, we demonstrate that our approach significantly outperforms state-of-the-art machine unlearning methods in both forgetting performance and model utility preservation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google