Even Small Correlation and Diversity Shifts Pose Dataset-Bias Issues

要約

分布の変化は現実世界のデータセットでは一般的であり、深層学習モデルのパフォーマンスと信頼性に影響を与える可能性があります。
この論文では、2 種類の分布シフトについて研究します。1 つはテスト サンプルがトレーニング中に見られなかったパターンを示す場合に発生するダイバーシティ シフト、もう 1 つはテスト データが見られる不変特徴と偽の特徴の間に異なる相関関係を示す場合に発生する相関シフトです。
私たちは、制御可能な方法で共存するデータセットを使用して、両方のタイプのシフトを分析するための統合プロトコルを提案します。
最後に、分布外のデータセットと特殊なバイアス アノテーションを使用して、皮膚がん分析の実際の分類問題にアプローチを適用します。
私たちのプロトコルでは、次の 3 つの発見が明らかになりました。1) モデルは、低バイアス トレーニングでも相関シフトを学習して伝播します。
これにより、説明不能な弱いバイアスが蓄積され、結合されるリスクが生じます。
2) モデルは高バイアスおよび低バイアスのシナリオでロバストな特徴を学習しますが、テストサンプルにスプリアスな特徴がある場合はそれを使用します。
これは、偽の相関が堅牢な特徴の学習を妨げないことを示唆しています。
3) ダイバーシティシフトにより、偽の相関への依存を減らすことができます。
不変の特徴が欠落している場合、バイアスのあるモデルはバイアスにさらに依存すると予想されるため、これは直観に反します。
私たちの研究は分布シフトの研究と実践に影響を及ぼし、さまざまな種類のシフトの下でモデルがどのように擬似相関を学習し依存するかについての新たな洞察を提供します。

要約(オリジナル)

Distribution shifts are common in real-world datasets and can affect the performance and reliability of deep learning models. In this paper, we study two types of distribution shifts: diversity shifts, which occur when test samples exhibit patterns unseen during training, and correlation shifts, which occur when test data present a different correlation between seen invariant and spurious features. We propose an integrated protocol to analyze both types of shifts using datasets where they co-exist in a controllable manner. Finally, we apply our approach to a real-world classification problem of skin cancer analysis, using out-of-distribution datasets and specialized bias annotations. Our protocol reveals three findings: 1) Models learn and propagate correlation shifts even with low-bias training; this poses a risk of accumulating and combining unaccountable weak biases; 2) Models learn robust features in high- and low-bias scenarios but use spurious ones if test samples have them; this suggests that spurious correlations do not impair the learning of robust features; 3) Diversity shift can reduce the reliance on spurious correlations; this is counter intuitive since we expect biased models to depend more on biases when invariant features are missing. Our work has implications for distribution shift research and practice, providing new insights into how models learn and rely on spurious correlations under different types of shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google