Diagnosing and Remedying Shot Sensitivity with Cosine Few-Shot Learners

要約

数ショットの認識では、いくつかの例（ショット）を使用して、テスト時に新しい概念を区別するために画像分類器をトレーニングします。
既存のアプローチは、一般に、テスト時のショット数が事前にわかっていることを前提としています。
これは現実的ではなく、電車とテストショットが一致しない場合、一般的で基本的な方法のパフォーマンスが低下することが示されています。
この現象について体系的な実証研究を行っています。
以前の作業と一致して、ショット感度はメトリックベースの数ショット学習者全体に広く存在することがわかりますが、以前の作業とは対照的に、より大きなニューラルアーキテクチャはさまざまなテストショットに対してある程度の組み込みの堅牢性を提供します。
さらに重要なことに、コサイン距離に基づく単純な、以前は知られているが見過ごされがちなクラスのアプローチは、サンプルノイズに対する感度を取り除くことにより、ショットの変動に対するロバスト性を一貫して大幅に向上させます。
人気のある最近の数ショット分類器に代わる正弦波を導き出し、現実的な設定への適用範囲を広げます。
これらのコサインモデルは、一貫してショットロバスト性を向上させ、以前のショットロバストな最先端技術を上回り、非常にローショットの領域での顕著な向上を含む、さまざまなベンチマークとアーキテクチャで競争力のある精度を提供します。

要約(オリジナル)

Few-shot recognition involves training an image classifier to distinguish novel concepts at test time using few examples (shot). Existing approaches generally assume that the shot number at test time is known in advance. This is not realistic, and the performance of a popular and foundational method has been shown to suffer when train and test shots do not match. We conduct a systematic empirical study of this phenomenon. In line with prior work, we find that shot sensitivity is broadly present across metric-based few-shot learners, but in contrast to prior work, larger neural architectures provide a degree of built-in robustness to varying test shot. More importantly, a simple, previously known but greatly overlooked class of approaches based on cosine distance consistently and greatly improves robustness to shot variation, by removing sensitivity to sample noise. We derive cosine alternatives to popular and recent few-shot classifiers, broadening their applicability to realistic settings. These cosine models consistently improve shot-robustness, outperform prior shot-robust state of the art, and provide competitive accuracy on a range of benchmarks and architectures, including notable gains in the very-low-shot regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google