MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks

要約

メタ学習アルゴリズムは、以前に学習した知識を使用して新しいタスクを学習できますが、多くの場合、すぐに利用できない可能性のある大量のメタトレーニング タスクが必要になります。
この問題に対処するために、私たちは、MetaModulation と呼ばれる、より少ないタスクで数回の学習を行う方法を提案します。
重要なアイデアは、ニューラル ネットワークを使用して、メタトレーニング中にバッチ正規化パラメーターを調整することでメタトレーニング タスクの密度を高めることです。
さらに、タスクの多様性を高めるために、単一レイヤーだけではなく、さまざまなネットワーク レベルでパラメーターを変更します。
限られたトレーニング タスクによって引き起こされる不確実性を考慮して、変調パラメータが潜在変数として扱われる変分メタモジュレーションを提案します。
また、変分メタモジュレーションによる変分特徴階層の学習も紹介します。これは、すべての層で特徴を変調し、タスクの不確実性を考慮して、より多様なタスクを生成できます。
アブレーション研究は、さまざまなレベルで学習可能なタスクの調整を利用する利点を示し、少数タスクのメタ学習に確率的バリアントを組み込む利点を示しています。
当社の MetaModulation とその変分バリアントは、タスクが少ない 4 つのメタ学習ベンチマークにおいて、常に最先端の代替手段を上回っています。

要約(オリジナル)

Meta-learning algorithms are able to learn a new task using previously learned knowledge, but they often require a large number of meta-training tasks which may not be readily available. To address this issue, we propose a method for few-shot learning with fewer tasks, which we call MetaModulation. The key idea is to use a neural network to increase the density of the meta-training tasks by modulating batch normalization parameters during meta-training. Additionally, we modify parameters at various network levels, rather than just a single layer, to increase task diversity. To account for the uncertainty caused by the limited training tasks, we propose a variational MetaModulation where the modulation parameters are treated as latent variables. We also introduce learning variational feature hierarchies by the variational MetaModulation, which modulates features at all layers and can consider task uncertainty and generate more diverse tasks. The ablation studies illustrate the advantages of utilizing a learnable task modulation at different levels and demonstrate the benefit of incorporating probabilistic variants in few-task meta-learning. Our MetaModulation and its variational variants consistently outperform state-of-the-art alternatives on four few-task meta-learning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google