Towards Reliable Empirical Machine Unlearning Evaluation: A Game-Theoretic View

要約

機械学習の解除は、個人が個人データの削除を要求できるようにするデータ保護規制に準拠するために、機械学習モデルを更新して特定のトレーニング データ サンプルの情報を削除するプロセスです。
最近、数多くの非学習アルゴリズムが開発されているにもかかわらず、これらのアルゴリズムの信頼できる評価は未解決の研究課題のままです。
この研究では、非学習アルゴリズムを評価するための最も一般的なアプローチの 1 つであるメンバーシップ推論攻撃 (MIA) ベースの評価に焦点を当て、信頼性に欠ける既存の評価指標のさまざまな落とし穴に対処します。
具体的には、評価プロセスをアンラーニングアルゴリズムとMIA敵対者間のゲームとして形式化し、MIA敵対者の能力によってアンラーニングアルゴリズムのデータ削除効果を測定するゲーム理論的フレームワークを提案します。
ゲームの慎重な設計を通じて、ゲームから誘導される自然な評価指標には、既存の評価指標が満たせない証明可能な保証があることを実証します。
さらに、ゲームから誘導される評価指標を推定するための実用的かつ効率的なアルゴリズムを提案し、理論解析と実証実験の両方を通じてその有効性を実証します。
この研究は、非学習アルゴリズムを経験的に評価するための斬新で信頼性の高いアプローチを提示し、より効果的な非学習技術の開発への道を開きます。

要約(オリジナル)

Machine unlearning is the process of updating machine learning models to remove the information of specific training data samples, in order to comply with data protection regulations that allow individuals to request the removal of their personal data. Despite the recent development of numerous unlearning algorithms, reliable evaluation of these algorithms remains an open research question. In this work, we focus on membership inference attack (MIA) based evaluation, one of the most common approaches for evaluating unlearning algorithms, and address various pitfalls of existing evaluation metrics that lack reliability. Specifically, we propose a game-theoretic framework that formalizes the evaluation process as a game between unlearning algorithms and MIA adversaries, measuring the data removal efficacy of unlearning algorithms by the capability of the MIA adversaries. Through careful design of the game, we demonstrate that the natural evaluation metric induced from the game enjoys provable guarantees that the existing evaluation metrics fail to satisfy. Furthermore, we propose a practical and efficient algorithm to estimate the evaluation metric induced from the game, and demonstrate its effectiveness through both theoretical analysis and empirical experiments. This work presents a novel and reliable approach to empirically evaluating unlearning algorithms, paving the way for the development of more effective unlearning techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google