Spawrious: A Benchmark for Fine Control of Spurious Correlation Biases

要約

スプリアス相関 (SC) の問題は、分類子がトレーニング データ内のラベルと相関する非予測機能に依存している場合に発生します。
たとえば、分類器は、犬の画像の背景に基づいて犬種を誤分類する場合があります。
これは、背景がトレーニング データ内の他の品種と相関している場合に発生し、テスト時に誤分類につながります。
以前の SC ベンチマーク データセットは、過飽和や 1 対 1 (O2O) SC のみを含むなど、さまざまな問題に悩まされていましたが、偽の属性とクラスのグループ間で発生する多対多 (M2M) SC はありません。
この論文では、さまざまな犬種と背景の場所の間の疑似相関を含む画像分類ベンチマーク スイートである Spawrious-{O2O, M2M}-{Easy, Medium, Hard} を紹介します。
このデータセットを作成するために、テキストから画像へのモデルを使用して写真のようにリアルな画像を生成し、画像キャプション モデルを使用して不適切なものを除外します。
結果のデータセットは高品質で、約 152,000 枚の画像が含まれています。
私たちの実験結果は、最先端のグループ ロバストネス メソッドが Spawious と格闘することを示しています。
モデルの誤分類を調べることにより、偽の背景への依存を検出し、データセットが将来の研究を推進するための重要な課題を提供することを示しています。

要約(オリジナル)

The problem of spurious correlations (SCs) arises when a classifier relies on non-predictive features that happen to be correlated with the labels in the training data. For example, a classifier may misclassify dog breeds based on the background of dog images. This happens when the backgrounds are correlated with other breeds in the training data, leading to misclassifications during test time. Previous SC benchmark datasets suffer from varying issues, e.g., over-saturation or only containing one-to-one (O2O) SCs, but no many-to-many (M2M) SCs arising between groups of spurious attributes and classes. In this paper, we present Spawrious-{O2O, M2M}-{Easy, Medium, Hard}, an image classification benchmark suite containing spurious correlations among different dog breeds and background locations. To create this dataset, we employ a text-to-image model to generate photo-realistic images, and an image captioning model to filter out unsuitable ones. The resulting dataset is of high quality, containing approximately 152,000 images. Our experimental results demonstrate that state-of-the-art group robustness methods struggle with Spawrious, most notably on the Hard-splits with $<60\%$ accuracy. By examining model misclassifications, we detect reliances on spurious backgrounds, demonstrating that our dataset provides a significant challenge to drive future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google