Machine Unlearning of Features and Labels

要約

機械学習モデルから情報を削除するのは簡単な作業ではなく、トレーニング プロセスを部分的に元に戻す必要があります。
クレジット カード番号やパスワードなどの機密データが誤ってモデルに入力され、後で削除する必要がある場合、この作業は避けられません。
最近、この問題に対処するために、機械の非学習に関するさまざまな概念が提案されています。
これらのアプローチは個々のデータ ポイントを削除する場合には効果的ですが、より大きなフィーチャとラベルのグループを元に戻す必要があるシナリオには対応できません。
この論文では、特徴とラベルをアンラーニングするための最初の方法を提案します。
私たちのアプローチは影響関数の概念に基づいており、モデルパラメータの閉じた形式の更新を通じてアンラーニングを実現します。
学習モデルに対するトレーニング データの影響を遡及的に適応させることができるため、データ漏洩やプライバシーの問題を修正できます。
強く凸の損失関数を持つ学習モデルの場合、私たちの方法は理論的な保証を備えた認定された非学習を提供します。
非凸損失を伴うモデルの場合、特徴とラベルのアンラーニングが効果的であり、他の戦略よりも大幅に高速であることが経験的に示されています。

要約(オリジナル)

Removing information from a machine learning model is a non-trivial task that requires to partially revert the training process. This task is unavoidable when sensitive data, such as credit card numbers or passwords, accidentally enter the model and need to be removed afterwards. Recently, different concepts for machine unlearning have been proposed to address this problem. While these approaches are effective in removing individual data points, they do not scale to scenarios where larger groups of features and labels need to be reverted. In this paper, we propose the first method for unlearning features and labels. Our approach builds on the concept of influence functions and realizes unlearning through closed-form updates of model parameters. It enables to adapt the influence of training data on a learning model retrospectively, thereby correcting data leaks and privacy issues. For learning models with strongly convex loss functions, our method provides certified unlearning with theoretical guarantees. For models with non-convex losses, we empirically show that unlearning features and labels is effective and significantly faster than other strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google