FS-BAN: Born-Again Networks for Domain Generalization Few-Shot Classification

要約

従来の少数ショット分類 (FSC) は、限られたラベル付きデータが与えられた新しいクラスからサンプルを認識することを目的としています。
最近、ドメイン一般化 FSC (DG-FSC) が、目に見えないドメインからの新しいクラス サンプルを認識することを目的として提案されました。
DG-FSC は、基本クラス (トレーニングで使用される) と新しいクラス (評価で遭遇する) の間のドメイン シフトにより、多くのモデルにかなりの課題をもたらします。
この作業では、DG-FSC に取り組むために 2 つの新しい貢献を行います。
私たちの最初の貢献は、Born-Again Network (BAN) エピソード トレーニングを提案し、DG-FSC に対するその有効性を包括的に調査することです。
知識の蒸留の特定の形式として、BAN はクローズド セット セットアップを使用した従来の教師あり分類で改善された一般化を達成することが示されています。
この改善された一般化は、DG-FSC の BAN を研究する動機となり、BAN が DG-FSC で発生したドメインシフトに対処することを約束していることを示しています。
励みになる発見に基づいて、私たちの 2 番目の (主要な) 貢献は、DG-FSC の新しい BAN アプローチである少数ショット BAN、FS-BAN を提案することです。
私たちが提案する FS-BAN には、新しいマルチタスクの学習目標が含まれています: 相互正則化、不一致の教師、およびメタコントロールの温度。これらはそれぞれ、DG-FSC の中心的かつ固有の課題、つまりオーバーフィッティングとドメインの不一致を克服するように特別に設計されています。
これらの手法のさまざまな設計上の選択を分析します。
6 つのデータセットと 3 つのベースライン モデルを使用して、包括的な定量的および定性的な分析と評価を行います。
結果は、提案されたFS-BANがベースラインモデルの一般化パフォーマンスを一貫して改善し、DG-FSCの最先端の精度を達成することを示唆しています。

要約(オリジナル)

Conventional Few-shot classification (FSC) aims to recognize samples from novel classes given limited labeled data. Recently, domain generalization FSC (DG-FSC) has been proposed with the goal to recognize novel class samples from unseen domains. DG-FSC poses considerable challenges to many models due to the domain shift between base classes (used in training) and novel classes (encountered in evaluation). In this work, we make two novel contributions to tackle DG-FSC. Our first contribution is to propose Born-Again Network (BAN) episodic training and comprehensively investigate its effectiveness for DG-FSC. As a specific form of knowledge distillation, BAN has been shown to achieve improved generalization in conventional supervised classification with a closed-set setup. This improved generalization motivates us to study BAN for DG-FSC, and we show that BAN is promising to address the domain shift encountered in DG-FSC. Building on the encouraging finding, our second (major) contribution is to propose few-shot BAN, FS-BAN, a novel BAN approach for DG-FSC. Our proposed FS-BAN includes novel multi-task learning objectives: Mutual Regularization, Mismatched Teacher and Meta-Control Temperature, each of these is specifically designed to overcome central and unique challenges in DG-FSC, namely overfitting and domain discrepancy. We analyze different design choices of these techniques. We conduct comprehensive quantitative and qualitative analysis and evaluation using six datasets and three baseline models. The results suggest that our proposed FS-BAN consistently improves the generalization performance of baseline models and achieves state-of-the-art accuracy for DG-FSC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google