Disentangled Generation with Information Bottleneck for Few-Shot Learning

要約

少数のサンプルで目に見えないクラスを分類することを目的とする少数ショット学習 (FSL) は、データが不足しているため困難です。
FSL に対してさまざまな生成方法が検討されてきましたが、これらの方法の絡み合った生成プロセスは FSL の分布シフトを悪化させ、生成されたサンプルの品質を大幅に制限します。
これらの課題に対して、生成されたサンプルの識別と多様性を同時に保証できる、FSL 用の新しい情報ボトルネック (IB) ベースの Disentangled Generation Framework (DisGenIB と呼ばれる) を提案します。
具体的には、もつれのない表現学習とサンプル生成の両方に適用される、情報のボトルネックを持つ新しいフレームワークを定式化します。
事前確率をほとんど利用できない既存の IB ベースの方法とは異なり、DisGenIB が事前確率を効果的に利用して、もつれの解消をさらに促進できることを示します。
さらに、いくつかの以前の生成およびもつれ解除方法が DisGenIB の特殊なケースであることを理論的に証明します。これは、提案された DisGenIB の一般性を示しています。
困難な FSL ベンチマークでの広範な実験により、DisGenIB の有効性と優位性、および理論的分析の妥当性が確認されました。
私たちのコードは、受け入れられるとオープンソースになります。

要約(オリジナル)

Few-shot learning (FSL), which aims to classify unseen classes with few samples, is challenging due to data scarcity. Although various generative methods have been explored for FSL, the entangled generation process of these methods exacerbates the distribution shift in FSL, thus greatly limiting the quality of generated samples. To these challenges, we propose a novel Information Bottleneck (IB) based Disentangled Generation Framework for FSL, termed as DisGenIB, that can simultaneously guarantee the discrimination and diversity of generated samples. Specifically, we formulate a novel framework with information bottleneck that applies for both disentangled representation learning and sample generation. Different from existing IB-based methods that can hardly exploit priors, we demonstrate our DisGenIB can effectively utilize priors to further facilitate disentanglement. We further prove in theory that some previous generative and disentanglement methods are special cases of our DisGenIB, which demonstrates the generality of the proposed DisGenIB. Extensive experiments on challenging FSL benchmarks confirm the effectiveness and superiority of DisGenIB, together with the validity of our theoretical analyses. Our codes will be open-source upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google