Is it enough to optimize CNN architectures on ImageNet?

要約

ImageNetに基づく分類性能は、CNN開発における事実上の標準指標である。本研究では、ImageNetのみに基づくCNNアーキテクチャ設計が、多様なデータセットとアプリケーションドメインで良好な性能を発揮する一般的に有効な畳み込みニューラルネットワーク（CNN）アーキテクチャを導くという考え方に挑戦する。このため、我々はこのようなアーキテクチャを導き出すための基礎としてImageNetを調査し、最終的に改善する。我々は、広範なAnyNetX設計空間から抽出した500$のCNNアーキテクチャを、ImageNetと、多様なアプリケーションドメインから抽出した8$の追加の有名な画像分類ベンチマークデータセットで訓練する、大規模な実証研究を実施した。我々は、アーキテクチャの性能はデータセットに大きく依存することを観察した。いくつかのデータセットでは、すべてのアーキテクチャにおいて、ImageNetとの誤差相関が負になることさえある。我々は、より少ないクラスに制限されたImageNetサブセットを利用することで、これらの相関を大幅に増加させる方法を示す。これらの貢献は、将来のCNNアーキテクチャの設計方法に大きな影響を与え、現在我々のコミュニティで見られる、1つのデータセットへの過度の依存という傾きを緩和するのに役立つと思われる。

要約(オリジナル)

Classification performance based on ImageNet is the de-facto standard metric for CNN development. In this work we challenge the notion that CNN architecture design solely based on ImageNet leads to generally effective convolutional neural network (CNN) architectures that perform well on a diverse set of datasets and application domains. To this end, we investigate and ultimately improve ImageNet as a basis for deriving such architectures. We conduct an extensive empirical study for which we train $500$ CNN architectures, sampled from the broad AnyNetX design space, on ImageNet as well as $8$ additional well known image classification benchmark datasets from a diverse array of application domains. We observe that the performances of the architectures are highly dataset dependent. Some datasets even exhibit a negative error correlation with ImageNet across all architectures. We show how to significantly increase these correlations by utilizing ImageNet subsets restricted to fewer classes. These contributions can have a profound impact on the way we design future CNN architectures and help alleviate the tilt we see currently in our community with respect to over-reliance on one dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL