Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift

要約

ラベルシフトと共変量シフトの下で、深いニューラルネットワークにおける重要性の重み付けの有効性を評価します。
ロジスティック回帰とMLPSを使用して、合成2Dデータ（線形分離可能で月型）では、重みがトレーニングの早期に決定境界に強く影響するが、長期にわたる最適化でフェードすることが観察されます。
さまざまなクラスの不均衡があるCIFAR-10では、L2正規化（ドロップアウトではない）のみが重みの効果を維持するのに役立ちます。
共変量シフトの実験では、重要性の重み付けは大きなパフォーマンスの向上をもたらさず、複雑なデータの課題を強調します。
私たちの結果は、実際の分布シフトの重要性の重み付けの実用的な有用性に疑問を投げかけています。

要約(オリジナル)

We evaluate the effectiveness of importance weighting in deep neural networks under label shift and covariate shift. On synthetic 2D data (linearly separable and moon-shaped) using logistic regression and MLPs, we observe that weighting strongly affects decision boundaries early in training but fades with prolonged optimization. On CIFAR-10 with various class imbalances, only L2 regularization (not dropout) helps preserve weighting effects. In a covariate-shift experiment, importance weighting yields no significant performance gain, highlighting challenges on complex data. Our results call into question the practical utility of importance weighting for real-world distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google