DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable Kendall’s Rank Correlation

要約

フューショット学習は、ベース データセットでトレーニングされたモデルを、モデルがこれまで認識したことのない新しいタスクに適応させることを目的としています。
これにより、多くの場合、新しいクラスのチャネル全体で特徴値が比較的均一に分布することになり、新しいタスクのチャネルの重要性を決定する際に課題が生じます。
標準的な少数ショット学習方法では、コサイン類似度や負のユークリッド距離などの幾何学的類似性メトリクスを使用して、2 つの特徴間の意味論的な関連性を測定します。
ただし、幾何学的類似性が高い特徴は、特に少数ショット学習のコンテキストにおいて、異なるセマンティクスを保持する可能性があります。
この論文では、特徴チャネルの重要度ランキングが、幾何学的類似性メトリクスよりも少数ショット学習にとって信頼性の高い指標であることを実証します。
推論中にのみ幾何学的類似性メトリクスを Kendall の順位相関に置き換えることで、さまざまなドメインの広範囲のデータセットにわたる少数ショット学習のパフォーマンスを向上できることがわかりました。
さらに、ケンドールの順位相関の非微分可能性の問題に対処するために、メタトレーニング用に慎重に設計された微分可能損失を提案します。
広範な実験により、提案されたランク相関ベースのアプローチが少数ショット学習パフォーマンスを大幅に向上させることが実証されました。

要約(オリジナル)

Few-shot learning aims to adapt models trained on the base dataset to novel tasks where the categories are not seen by the model before. This often leads to a relatively uniform distribution of feature values across channels on novel classes, posing challenges in determining channel importance for novel tasks. Standard few-shot learning methods employ geometric similarity metrics such as cosine similarity and negative Euclidean distance to gauge the semantic relatedness between two features. However, features with high geometric similarities may carry distinct semantics, especially in the context of few-shot learning. In this paper, we demonstrate that the importance ranking of feature channels is a more reliable indicator for few-shot learning than geometric similarity metrics. We observe that replacing the geometric similarity metric with Kendall’s rank correlation only during inference is able to improve the performance of few-shot learning across a wide range of datasets with different domains. Furthermore, we propose a carefully designed differentiable loss for meta-training to address the non-differentiability issue of Kendall’s rank correlation. Extensive experiments demonstrate that the proposed rank-correlation-based approach substantially enhances few-shot learning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google