ImageNot: A contrast with ImageNet preserves model rankings

要約

ImageNot を紹介します。これは、ImageNet の規模に一致するように設計されたデータセットですが、他の側面では大きく異なります。
私たちは、長年にわたって ImageNet 用に開発された主要なモデル アーキテクチャが、ImageNot でトレーニングおよび評価された場合と、ImageNet でのランク付けが同じであることを示します。
これは、モデルを最初からトレーニングする場合やモデルを微調整する場合にも当てはまります。
さらに、以前のモデルに対する各モデルの相対的な改善は、両方のデータセットで強い相関があります。
さらに、転移学習の目的で ImageNot が ImageNet と同様のユーティリティを備えているという証拠を示します。
私たちの研究は、画像分類モデルの相対的なパフォーマンスにおける驚くべき程度の外部妥当性を実証しています。
これは、データセットへの小さな変更でも通常は急激に低下する絶対精度の数値とは対照的です。

要約(オリジナル)

We introduce ImageNot, a dataset designed to match the scale of ImageNet while differing drastically in other aspects. We show that key model architectures developed for ImageNet over the years rank identically when trained and evaluated on ImageNot to how they rank on ImageNet. This is true when training models from scratch or fine-tuning them. Moreover, the relative improvements of each model over earlier models strongly correlate in both datasets. We further give evidence that ImageNot has a similar utility as ImageNet for transfer learning purposes. Our work demonstrates a surprising degree of external validity in the relative performance of image classification models. This stands in contrast with absolute accuracy numbers that typically drop sharply even under small changes to a dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google