MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation

要約

少数ショット分類 (FSC) における分布外 (OOD) 問題は、テスト分布からサンプリングされた新規クラスがトレーニング分布から抽出された基本クラスと異なる場合に発生し、実世界のアプリケーションにデプロイされた深層学習モデルのパフォーマンスを大幅に低下させます。
最近の研究では、FSC における OOD の問題には主に (a) クロスドメイン少数ショット分類 (CD-FSC) および (b) スプリアス相関少数ショット分類 (SC-FSC) が含まれることが示唆されています。
具体的には、CD-FSC は、分類器が既知のトレーニング分布から抽出された基本クラスからの知識の伝達を学習するが、未見のテスト分布からサンプリングされた新規クラスを認識する場合に発生します。
対照的に、SC-FSC は、分類子が基底クラスのラベル (または概念) とたまたま相関している非因果的な特徴 (またはコンテキスト) に依存しているが、そのような関係がモデルのデプロイメント中に保持されなくなる場合に発生します。
CD-FSC は広く研究されているにもかかわらず、対応する評価ベンチマークがないため、SC-FSC は依然として研究が不足しています。
この目的を達成するために、現実世界のシナリオから収集された偽相関シフトを含むベンチマークである Meta Concept Context (MetaCoCo) を紹介します。
さらに、提示された MetaCoCo の擬似相関シフトの程度を定量化するために、事前トレーニングされた視覚言語モデルとして CLIP を使用するメトリクスをさらに提案します。
提案されたベンチマークに関する広範な実験が実行され、FSC、クロスドメイン シフト、および自己教師あり学習における最先端の手法が評価されます。
実験結果は、スプリアス相関シフトが存在すると、既存の方法のパフォーマンスが大幅に低下することを示しています。
私たちはベンチマークのすべてのコードをオープンソース化しており、提案されている MetaCoCo が FSC におけるスプリアス相関シフト問題に関する将来の研究を促進できることを期待しています。
コードは https://github.com/remiMZ/MetaCoCo-ICLR24 で入手できます。

要約(オリジナル)

Out-of-distribution (OOD) problems in few-shot classification (FSC) occur when novel classes sampled from testing distributions differ from base classes drawn from training distributions, which considerably degrades the performance of deep learning models deployed in real-world applications. Recent studies suggest that the OOD problems in FSC mainly including: (a) cross-domain few-shot classification (CD-FSC) and (b) spurious-correlation few-shot classification (SC-FSC). Specifically, CD-FSC occurs when a classifier learns transferring knowledge from base classes drawn from seen training distributions but recognizes novel classes sampled from unseen testing distributions. In contrast, SC-FSC arises when a classifier relies on non-causal features (or contexts) that happen to be correlated with the labels (or concepts) in base classes but such relationships no longer hold during the model deployment. Despite CD-FSC has been extensively studied, SC-FSC remains understudied due to lack of the corresponding evaluation benchmarks. To this end, we present Meta Concept Context (MetaCoCo), a benchmark with spurious-correlation shifts collected from real-world scenarios. Moreover, to quantify the extent of spurious-correlation shifts of the presented MetaCoCo, we further propose a metric by using CLIP as a pre-trained vision-language model. Extensive experiments on the proposed benchmark are performed to evaluate the state-of-the-art methods in FSC, cross-domain shifts, and self-supervised learning. The experimental results show that the performance of the existing methods degrades significantly in the presence of spurious-correlation shifts. We open-source all codes of our benchmark and hope that the proposed MetaCoCo can facilitate future research on spurious-correlation shifts problems in FSC. The code is available at: https://github.com/remiMZ/MetaCoCo-ICLR24.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google