Mitigating Bias in Dataset Distillation

要約

データセット蒸留は、大規模なデータセットをより小さな合成データセットに圧縮し、下流のトレーニング タスクを容易にする手法として登場しました。
この論文では、元のデータセット内のバイアスがデータセット蒸留のパフォーマンスに及ぼす影響を研究します。
色、破損、背景のバイアスを含む正規データセットに対する包括的な経験的評価により、元のデータセットの色と背景のバイアスが蒸留プロセスを通じて増幅され、蒸留されたデータセットでトレーニングされたモデルのパフォーマンスが著しく低下することがわかりました。
、蒸留プロセスを通じて腐敗のバイアスが抑制されます。
データセット蒸留におけるバイアス増幅を軽減するために、カーネル密度推定を利用したサンプル再重み付けスキームに基づく、シンプルでありながら非常に効果的なアプローチを導入します。
複数の実世界データセットと合成データセットに関する実験結果は、提案された方法の有効性を示しています。
特に、バイアス競合比が 5% で IPC 50 の CMNIST では、私たちの方法は、バニラ DM の 23.8% と比較して 91.5% のテスト精度を達成し、パフォーマンスを 67.7% 向上させます。
同じデータセットでは 53.7% の精度しか達成できません。
私たちの調査結果は、データセットの抽出におけるバイアスに対処することの重要性を強調し、プロセスにおけるバイアスの増幅に対処するための有望な手段を提供します。

要約(オリジナル)

Dataset Distillation has emerged as a technique for compressing large datasets into smaller synthetic counterparts, facilitating downstream training tasks. In this paper, we study the impact of bias inside the original dataset on the performance of dataset distillation. With a comprehensive empirical evaluation on canonical datasets with color, corruption and background biases, we found that color and background biases in the original dataset will be amplified through the distillation process, resulting in a notable decline in the performance of models trained on the distilled dataset, while corruption bias is suppressed through the distillation process. To reduce bias amplification in dataset distillation, we introduce a simple yet highly effective approach based on a sample reweighting scheme utilizing kernel density estimation. Empirical results on multiple real-world and synthetic datasets demonstrate the effectiveness of the proposed method. Notably, on CMNIST with 5% bias-conflict ratio and IPC 50, our method achieves 91.5% test accuracy compared to 23.8% from vanilla DM, boosting the performance by 67.7%, whereas applying state-of-the-art debiasing method on the same dataset only achieves 53.7% accuracy. Our findings highlight the importance of addressing biases in dataset distillation and provide a promising avenue to address bias amplification in the process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google