Data Banzhaf: A Robust Data Valuation Framework for Machine Learning

要約

データ評価には、データ品質の向上やデータ共有の経済的インセンティブの作成など、機械学習における幅広いユース ケースがあります。
この論文では、ノイズの多いモデル パフォーマンス スコアに対するデータ評価のロバスト性を研究します。
特に、広く使用されている確率的勾配降下法の固有のランダム性により、既存のデータ値の概念 (例: Shapley 値や Leave-one-out エラー) が異なる実行間で一貫性のないデータ値ランキングを生成する可能性があることがわかりました。
この課題に対処するために、データ値概念の堅牢性を測定する安全マージンの概念を導入します。
協力ゲーム理論の文献に由来する有名な価値概念である Banzhaf 値が、すべての半値 (ML アプリケーションに伴う重要な特性を満たし、有名な Shapley 値と Leave を含む価値概念のクラス) の中で最大の安全マージンを達成することを示します。
ワンアウト エラー)。
最大サンプル再利用 (MSR) 原則に基づいて Banzhaf 値を効率的に推定するアルゴリズムを提案します。
私たちの評価は、バンザフ値が、重み付けされたサンプルを使用した学習やノイズの多いラベル検出などのいくつかの ML タスクで、既存の半値ベースのデータ値の概念よりも優れていることを示しています。
全体として、基礎となる ML アルゴリズムが確率的である場合、バンザフ値は、その計算上の利点とデータ品質を確実に区別する能力を考えると、他の半値ベースのデータ値スキームの有望な代替手段であることを私たちの研究は示唆しています。

要約(オリジナル)

Data valuation has wide use cases in machine learning, including improving data quality and creating economic incentives for data sharing. This paper studies the robustness of data valuation to noisy model performance scores. Particularly, we find that the inherent randomness of the widely used stochastic gradient descent can cause existing data value notions (e.g., the Shapley value and the Leave-one-out error) to produce inconsistent data value rankings across different runs. To address this challenge, we introduce the concept of safety margin, which measures the robustness of a data value notion. We show that the Banzhaf value, a famous value notion that originated from cooperative game theory literature, achieves the largest safety margin among all semivalues (a class of value notions that satisfy crucial properties entailed by ML applications and include the famous Shapley value and Leave-one-out error). We propose an algorithm to efficiently estimate the Banzhaf value based on the Maximum Sample Reuse (MSR) principle. Our evaluation demonstrates that the Banzhaf value outperforms the existing semivalue-based data value notions on several ML tasks such as learning with weighted samples and noisy label detection. Overall, our study suggests that when the underlying ML algorithm is stochastic, the Banzhaf value is a promising alternative to the other semivalue-based data value schemes given its computational advantage and ability to robustly differentiate data quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google