A Decade’s Battle on Dataset Bias: Are We There Yet?

要約

10 年前に Torralba と Efros によって提案された「データセット分類」実験を、大規模で多様性があり、できれば偏りの少ないデータセットと、より有能なニューラル ネットワーク アーキテクチャを備えた新しい時代に再検討します。
驚くべきことに、最新のニューラル ネットワークは、画像がどのデータセットに由来するかを分類する際に優れた精度を達成できることが観察されています。たとえば、YFCC、CC、および DataComp からなる 3 方向分類問題の保持された検証データについて、84.7% の精度が報告されています。
データセット。
私たちのさらなる実験は、そのようなデータセット分類器が、単純に記憶することによって説明できない、一般化可能かつ伝達可能な意味論的特徴を学習できることを示しています。
私たちの発見が、コミュニティにデータセットのバイアスとモデルの機能に関する問題を再考するきっかけになれば幸いです。

要約(オリジナル)

We revisit the ‘dataset classification’ experiment suggested by Torralba and Efros a decade ago, in the new era with large-scale, diverse, and hopefully less biased datasets as well as more capable neural network architectures. Surprisingly, we observe that modern neural networks can achieve excellent accuracy in classifying which dataset an image is from: e.g., we report 84.7% accuracy on held-out validation data for the three-way classification problem consisting of the YFCC, CC, and DataComp datasets. Our further experiments show that such a dataset classifier could learn semantic features that are generalizable and transferable, which cannot be simply explained by memorization. We hope our discovery will inspire the community to rethink the issue involving dataset bias and model capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google