FOCUS: Familiar Objects in Common and Uncommon Settings

要約

ディープラーニングの標準的なトレーニングデータセットには、通常、ウェブをランダムに削って収集されるため、一般的な設定のオブジェクト（「草の上の馬」や「水中の船」など）が含まれていることがよくあります。
したがって、まれでまれな設定（「水上飛行機」、「雪の降る車」など）は、トレーニングデータでは大幅に過小評価されています。
これは、一般的な設定に対するモデル予測の望ましくないバイアスにつながり、誤った正確さの感覚を生み出す可能性があります。
この論文では、深層画像分類器の一般化能力をストレステストするためのデータセットであるFOCUS（共通および非共通設定のなじみのあるオブジェクト）を紹介します。
最新の検索エンジンの能力を活用することで、さまざまな場所、気象条件、時刻の一般的な設定と一般的でない設定のオブジェクトを含むデータを意図的に収集します。
データセット上のさまざまな一般的な画像分類器のパフォーマンスの詳細な分析を示し、一般的でない設定で画像を分類するとパフォーマンスが明らかに低下することを示します。
これらのモデルの深い特徴を分析することにより、そのようなエラーがモデル予測での偽の特徴の使用に起因する可能性があることを示します。
私たちのデータセットは、深いモデルが一般的でない設定にうまく一般化できないことを理解し、分布の堅牢性を改善するための将来の作業を推進するのに役立つと信じています。

要約(オリジナル)

Standard training datasets for deep learning often contain objects in common settings (e.g., ‘a horse on grass’ or ‘a ship in water’) since they are usually collected by randomly scraping the web. Uncommon and rare settings (e.g., ‘a plane on water’, ‘a car in snowy weather’) are thus severely under-represented in the training data. This can lead to an undesirable bias in model predictions towards common settings and create a false sense of accuracy. In this paper, we introduce FOCUS (Familiar Objects in Common and Uncommon Settings), a dataset for stress-testing the generalization power of deep image classifiers. By leveraging the power of modern search engines, we deliberately gather data containing objects in common and uncommon settings in a wide range of locations, weather conditions, and time of day. We present a detailed analysis of the performance of various popular image classifiers on our dataset and demonstrate a clear drop in performance when classifying images in uncommon settings. By analyzing deep features of these models, we show that such errors can be due to the use of spurious features in model predictions. We believe that our dataset will aid researchers in understanding the inability of deep models to generalize well to uncommon settings and drive future work on improving their distributional robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google