Hubs and Hyperspheres: Reducing Hubness and Improving Transductive Few-shot Learning with Hyperspherical Embeddings

要約

距離ベースの分類は、伝達的少数ショット学習 (FSL) でよく使用されます。
ただし、画像表現の高次元性により、FSL 分類器は、他のポイントの複数の最近傍リストでいくつかのポイント (ハブ) が頻繁に発生するハブネスの問題に悩まされる傾向があります。
ハブネスは、あるクラスのハブが別のクラスのポイントの最近傍に頻繁に現れる場合、距離ベースの分類に悪影響を及ぼし、分類器のパフォーマンスを低下させます。
FSL のハブ性の問題に対処するために、まず、超球上に表現を均一に分散することによってハブ性を排除できることを証明します。
次に、超球に表現を埋め込む 2 つの新しいアプローチを提案します。これにより、均一性と局所的な類似性の維持の間のトレードオフが最適化されることが証明されます。つまり、クラス構造を維持しながらハブ性を低減します。
私たちの実験は、提案された方法がハブネスを減らし、広範囲の分類器の変換 FSL 精度を大幅に改善することを示しています。

要約(オリジナル)

Distance-based classification is frequently used in transductive few-shot learning (FSL). However, due to the high-dimensionality of image representations, FSL classifiers are prone to suffer from the hubness problem, where a few points (hubs) occur frequently in multiple nearest neighbour lists of other points. Hubness negatively impacts distance-based classification when hubs from one class appear often among the nearest neighbors of points from another class, degrading the classifier’s performance. To address the hubness problem in FSL, we first prove that hubness can be eliminated by distributing representations uniformly on the hypersphere. We then propose two new approaches to embed representations on the hypersphere, which we prove optimize a tradeoff between uniformity and local similarity preservation — reducing hubness while retaining class structure. Our experiments show that the proposed methods reduce hubness, and significantly improves transductive FSL accuracy for a wide range of classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google