Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning

要約

この論文では、少数のラベル付きサンプルを使用して、目に見えないドメインで新しいクラスを学習するという困難なタスクを提示する、クロスドメインの少数ショット分類について説明します。
既存の方法はある程度効果的ではありますが、いくつかの制限に直面しています。この作業では 2 つの重要な改善を通じてこの制限に対処します。
まず、小さなデータセット上の多数のパラメーターの微調整に伴う過学習に対処するために、軽量でパラメーター効率の高い適応戦略を導入します。
この戦略では、事前トレーニングされた特徴の線形変換を採用し、トレーニング可能なパラメーター数を大幅に削減します。
次に、従来の最近傍重心分類器を分散を考慮した損失関数に置き換え、トレーニング セット内のクラス間分散およびクラス内分散に対するモデルの感度を強化して、特徴空間でのクラスタリングを改善します。
メタデータセット ベンチマークの経験的評価では、私たちのアプローチが、目に見えるデータセットと見えないデータセットでそれぞれ最大 7.7% と 5.3% 精度を向上させるだけでなく、既存の手法と比べてパラメータ効率が少なくとも ~3 倍高く、このパフォーマンスを達成できることを示しています。
クロスドメインの少数ショット学習における新しい最先端技術。
私たちのコードは https://github.com/rashindrie/DIPA にあります。

要約(オリジナル)

In this paper, we look at cross-domain few-shot classification which presents the challenging task of learning new classes in unseen domains with few labelled examples. Existing methods, though somewhat effective, encounter several limitations, which we address in this work through two significant improvements. First, to address overfitting associated with fine-tuning a large number of parameters on small datasets, we introduce a lightweight parameter-efficient adaptation strategy. This strategy employs a linear transformation of pre-trained features, significantly reducing the trainable parameter count. Second, we replace the traditional nearest centroid classifier with a variance-aware loss function, enhancing the model’s sensitivity to the inter- and intra-class variances within the training set for improved clustering in feature space. Empirical evaluations on the Meta-Dataset benchmark showcase that our approach not only improves accuracy up to 7.7% and 5.3% on seen and unseen datasets respectively but also achieves this performance while being at least ~3x more parameter-efficient than existing methods, establishing a new state-of-the-art in cross-domain few-shot learning. Our code can be found at https://github.com/rashindrie/DIPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google