Self-Attention Message Passing for Contrastive Few-Shot Learning

要約

人間は、ほんの一握りの例から新しい表現を学習するという独特の能力を持っています。
ただし、ディープ ラーニング モデルを満足のいくレベルで実行するには、豊富なデータと監視が必要です。
教師なし少数ショット学習 (U-FSL) は、機械と人間の間のこのギャップを埋めることを追求しています。
複雑なサンプル間の関係を発見するグラフ ニューラル ネットワーク (GNN) の能力に着想を得て、U-​​FSL 事前トレーニングのための新しい自己注意ベースのメッセージ パッシング コントラスト学習アプローチ (SAMP-CLR と呼ばれる造語) を提案します。
また、最適なトランスポート (OT) ベースの微調整戦略 (OpT-Tune と呼びます) を提案して、新しいエンドツーエンドの教師なし少数ショット分類フレームワーク (SAMPTransfer) にタスク認識を効率的に誘導します。
私たちの広範な実験結果は、さまざまなダウンストリームの少数ショット分類シナリオでの SAMPTransfer の有効性を裏付けており、miniImagenet と tieredImagenet の両方のベンチマークで U-FSL の新しい最先端を設定し、最大 7%+ および 5% を提供します。
+ それぞれ改善。
さらに調査を行った結果、SAMPTransfer は miniImagenet のいくつかの管理されたベースラインと同等であり、挑戦的なクロスドメイン シナリオで既存のすべての U-FSL ベースラインよりも優れていることが確認されました。
私たちのコードは、https://github.com/ojss/SAMPTransfer/ の GitHub リポジトリにあります。

要約(オリジナル)

Humans have a unique ability to learn new representations from just a handful of examples with little to no supervision. Deep learning models, however, require an abundance of data and supervision to perform at a satisfactory level. Unsupervised few-shot learning (U-FSL) is the pursuit of bridging this gap between machines and humans. Inspired by the capacity of graph neural networks (GNNs) in discovering complex inter-sample relationships, we propose a novel self-attention based message passing contrastive learning approach (coined as SAMP-CLR) for U-FSL pre-training. We also propose an optimal transport (OT) based fine-tuning strategy (we call OpT-Tune) to efficiently induce task awareness into our novel end-to-end unsupervised few-shot classification framework (SAMPTransfer). Our extensive experimental results corroborate the efficacy of SAMPTransfer in a variety of downstream few-shot classification scenarios, setting a new state-of-the-art for U-FSL on both miniImagenet and tieredImagenet benchmarks, offering up to 7%+ and 5%+ improvements, respectively. Our further investigations also confirm that SAMPTransfer remains on-par with some supervised baselines on miniImagenet and outperforms all existing U-FSL baselines in a challenging cross-domain scenario. Our code can be found in our GitHub repository at https://github.com/ojss/SAMPTransfer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google