Has Approximate Machine Unlearning been evaluated properly? From Auditing to Side Effects

要約

データのプライバシーとセキュリティを巡る懸念の高まりにより、機械学習モデルからデータ系統を完全に削除することを目的とした機械の非学習の重要な必要性が浮き彫りになっています。
MLaaS プロバイダーは、これが法規制遵守のための究極の安全策であることを期待しています。
非常に重要であるにもかかわらず、プライバシー コミュニティが機械の非学習の有効性を検証するための強力な方法を開発および実装するペースは残念なほど遅く、この重要な領域に十分な焦点が当てられていないことがよくあります。
このホワイトペーパーは、ブラックボックスの学習解除監査タスクに明確に定義された効果的な指標を導入することで、この不足点に対処することを目指しています。
私たちは監査の課題を非メンバーシップ推論の問題に変換し、監査のための効率的な指標を開発します。
オリジナルの未学習モデルのみに依存することで、追加のシャドウ モデルをトレーニングする必要がなく、私たちのアプローチは個々のデータ ポイント レベルでの未学習の評価を簡素化します。
これらの指標を利用して、現在の近似機械学習アルゴリズムの詳細な分析を実施し、これらのアプローチでは不十分な 3 つの重要な方向性、つまり実用性、回復力、公平性を特定します。
私たちの目的は、この研究によって近似的な機械の非学習方法についての理解が大幅に向上し、データ消去に対する理論上の権利を監査可能な現実に変換することに向けて大きく前進することです。

要約(オリジナル)

The growing concerns surrounding data privacy and security have underscored the critical necessity for machine unlearning–aimed at fully removing data lineage from machine learning models. MLaaS providers expect this to be their ultimate safeguard for regulatory compliance. Despite its critical importance, the pace at which privacy communities have been developing and implementing strong methods to verify the effectiveness of machine unlearning has been disappointingly slow, with this vital area often receiving insufficient focus. This paper seeks to address this shortfall by introducing well-defined and effective metrics for black-box unlearning auditing tasks. We transform the auditing challenge into a question of non-membership inference and develop efficient metrics for auditing. By relying exclusively on the original and unlearned models–eliminating the need to train additional shadow models–our approach simplifies the evaluation of unlearning at the individual data point level. Utilizing these metrics, we conduct an in-depth analysis of current approximate machine unlearning algorithms, identifying three key directions where these approaches fall short: utility, resilience, and equity. Our aim is that this work will greatly improve our understanding of approximate machine unlearning methods, taking a significant stride towards converting the theoretical right to data erasure into a auditable reality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google