Image Classification with Small Datasets: Overview and Benchmark

要約

小さなデータセットを使用した画像分類は、最近の活発な研究分野です。
しかし、この範囲の研究はまだ始まったばかりであるため、信頼できる真実の進歩を保証するための 2 つの重要な要素が欠けています。最新技術の体系的かつ広範な概要と、公開された方法間の客観的な比較を可能にする共通のベンチマークです。
この記事では、両方の問題に対処します。
まず、過去の研究を体系的に整理・接続し、現在断片化・分散しているコミュニティを統合します。
次に、アプローチの客観的な比較を可能にする共通のベンチマークを提案します。
これは、さまざまなドメイン (自然画像、医療画像、衛星データなど) とデータ タイプ (RGB、グレースケール、マルチスペクトル) にわたる 5 つのデータセットで構成されています。
このベンチマークを使用して、標準的なクロスエントロピー ベースラインと、有名な会場で 2017 年から 2021 年の間に公開された 10 個の既存の方法を再評価します。
驚くべきことに、保留された検証データの徹底的なハイパーパラメーター調整により、非常に競争力のあるベースラインが得られ、何年にもわたるパフォーマンスの伸び悩みが浮き彫りになっていることがわかりました。
実際、2019 年にさかのぼる特殊な方法は 1 つだけであり、明らかにベンチマークに勝っており、ベースラインの分類子よりも優れています。

要約(オリジナル)

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google