Adaptive manifold for imbalanced transductive few-shot learning

要約

タイトル：不均衡トランスダクティブファイショット学習のための適応型マニフォールド

要約：
– トランスダクティブファイショット学習のアルゴリズムは、ラベルのないクエリを活用することにより、その静的なカウンターパートよりも優れた性能を発揮しています。
– しかし、ほとんどの手法は完全にクラスバランスされたベンチマーク上で評価されており、現実的な不均衡設定では性能が著しく低下することが示されています。
– このため、本研究では、適応型マニフォールドという新しいアルゴリズムを提案し、不均衡トランスダクティブファイショット学習に対処します。
– 本手法は、ラベル付きのサポート例とラベルのないクエリの基礎となるマニフォールドを利用し、マニフォールドの類似度を使用してクエリごとのクラス確率分布を予測します。
– アルゴリズムは、クラスごとに1つのセントロイドと、マニフォールドを決定するグラフ固有の一連のパラメータでパラメータ化されます。
– すべてのパラメータは損失関数を介して最適化され、クラスバランスまたは不均衡分布に向けて調整することができます。
– マニフォールドの類似度は、特に1ショット設定では、ユークリッド距離よりも大幅な改善を示します。
– 本アルゴリズムは、miniImageNet、tieredImageNet、CUBの3つのベンチマークデータセット、ResNet-18、WideResNet-28-10、DenseNet-121の3つの異なるバックボーンにおいて、他の最先端手法を上回るか、同等の性能を発揮します。
– 一部の場合では、本アルゴリズムは以前の最先端手法を最大で4.2%上回ります。

要約(オリジナル)

Transductive few-shot learning algorithms have showed substantially superior performance over their inductive counterparts by leveraging the unlabeled queries. However, the vast majority of such methods are evaluated on perfectly class-balanced benchmarks. It has been shown that they undergo remarkable drop in performance under a more realistic, imbalanced setting. To this end, we propose a novel algorithm to address imbalanced transductive few-shot learning, named Adaptive Manifold. Our method exploits the underlying manifold of the labeled support examples and unlabeled queries by using manifold similarity to predict the class probability distribution per query. It is parameterized by one centroid per class as well as a set of graph-specific parameters that determine the manifold. All parameters are optimized through a loss function that can be tuned towards class-balanced or imbalanced distributions. The manifold similarity shows substantial improvement over Euclidean distance, especially in the 1-shot setting. Our algorithm outperforms or is on par with other state of the art methods in three benchmark datasets, namely miniImageNet, tieredImageNet and CUB, and three different backbones, namely ResNet-18, WideResNet-28-10 and DenseNet-121. In certain cases, our algorithm outperforms the previous state of the art by as much as 4.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI