Powering Finetuning in Few-Shot Learning: Domain-Agnostic Bias Reduction with Selected Sampling

要約

最近の作品では、メタトレーニングセットでトレーニングされた深いネットワークを利用することが、数ショット学習の強力なベースラインとして機能します。
この論文では、訓練された深いネットワークを微調整することにより、斬新なクラスの機能を改良するために前進します。
微調整は、新しいクラスの特徴分布のバイアスを減らすことに焦点を当てるように設計されています。これは、クラスにとらわれないバイアスとクラス固有のバイアスの2つの側面として定義されます。
クラスにとらわれないバイアスは、ドメインの違いによって導入される分布シフトとして定義されます。これを減らすために、分布キャリブレーションモジュール（DCM）を提案します。
DCMは、最適化中にドメインの違いを排除し、機能を迅速に適応させるという優れた特性を備えています。
クラス固有のバイアスは、新しいクラスのいくつかのサンプルを使用したバイアス推定として定義されます。これを削減するために、Selected Sampling（SS）を提案します。
SSは、実際のクラス分布を推測することなく、サポートセットサンプルの周りに提案分布を使用してサンプリングを実行することによって設計されます。
DCMとSSを使用して微調整を行うことで、メタデータセットで最先端の結果を達成し、さまざまなドメインの10個のデータセットで一貫したパフォーマンスを向上させます。
私たちのシンプルで効果的な方法は、実用的な数ショットのアプリケーションに適用できる可能性を示していると信じています。

要約(オリジナル)

In recent works, utilizing a deep network trained on meta-training set serves as a strong baseline in few-shot learning. In this paper, we move forward to refine novel-class features by finetuning a trained deep network. Finetuning is designed to focus on reducing biases in novel-class feature distributions, which we define as two aspects: class-agnostic and class-specific biases. Class-agnostic bias is defined as the distribution shifting introduced by domain difference, which we propose Distribution Calibration Module(DCM) to reduce. DCM owes good property of eliminating domain difference and fast feature adaptation during optimization. Class-specific bias is defined as the biased estimation using a few samples in novel classes, which we propose Selected Sampling(SS) to reduce. Without inferring the actual class distribution, SS is designed by running sampling using proposal distributions around support-set samples. By powering finetuning with DCM and SS, we achieve state-of-the-art results on Meta-Dataset with consistent performance boosts over ten datasets from different domains. We believe our simple yet effective method demonstrates its possibility to be applied on practical few-shot applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google