LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty

要約

私たちは、事前訓練を受けたモデルからのトレーニングサンプルの影響を排除する新しいマシンの未学習（MU）方法であるLotusを提示します。
Lotusは、モデルの予測確率を情報理論的にバインドし、データの記憶に起因する自信過剰を緩和します。
5つのパブリックデータセットにわたる8つのベースラインに対して、トランスとResNet18モデルのLotusを評価します。
確立されたMUベンチマークを超えて、再トレーニングが非現実的で現実世界の条件をシミュレートする大規模なデータセットであるImagENET1Kでの未学習を評価します。
さらに、現実世界の条件下で評価を可能にするために、小説の再訓練なしのJensen-Shannon Divergence（RF-JSD）メトリックを紹介します。
実験結果は、ロータスが効率と有効性の両方の観点から最先端の方法を上回ることを示しています。
コード：https：//github.com/cspartalis/lotus。

要約(オリジナル)

We present LoTUS, a novel Machine Unlearning (MU) method that eliminates the influence of training samples from pre-trained models, avoiding retraining from scratch. LoTUS smooths the prediction probabilities of the model up to an information-theoretic bound, mitigating its over-confidence stemming from data memorization. We evaluate LoTUS on Transformer and ResNet18 models against eight baselines across five public datasets. Beyond established MU benchmarks, we evaluate unlearning on ImageNet1k, a large-scale dataset, where retraining is impractical, simulating real-world conditions. Moreover, we introduce the novel Retrain-Free Jensen-Shannon Divergence (RF-JSD) metric to enable evaluation under real-world conditions. The experimental results show that LoTUS outperforms state-of-the-art methods in terms of both efficiency and effectiveness. Code: https://github.com/cspartalis/LoTUS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google