Any-Way Meta Learning

要約

メタ学習は、迅速な適応性の領域では有望なパフォーマンスを発揮するように見えますが、固定カーディナリティによって制約されます。
トレーニング中には見ら​​れなかったさまざまなカーディナリティのタスクに直面すると、モデルの能力が不足します。
この論文では、エピソードタスクのサンプリング中に確率的数値ラベルの割り当てから生じた「ラベルの等価性」を利用することで、この課題に取り組み、解決します。
「真の」メタ学習を定義するものに疑問を投げかけ、固定カーディナリティ制約からモデルを解放する革新的なモデル トレーニング アプローチである「エニーウェイ」学習パラダイムを紹介します。
驚くべきことに、このモデルは、パフォーマンス、収束速度、安定性の点で従来の固定方式モデルと同等であるだけでなく、多くの場合それを上回っています。
これにより、ドメインの一般化に関する確立された概念が破壊されます。
さらに、固有のラベルの等価性には必然的に意味論的な情報が欠けていると主張します。
ラベルの等価性から生じるこの意味論的な情報のギャップを埋めるために、意味論的なクラス情報をモデルに注入するメカニズムをさらに提案します。
これにより、モデルの理解力と機能性が向上します。
MAML や ProtoNet などの有名なアーキテクチャで行われた実験により、私たちの手法の有効性が確認されました。

要約(オリジナル)

Although meta-learning seems promising performance in the realm of rapid adaptability, it is constrained by fixed cardinality. When faced with tasks of varying cardinalities that were unseen during training, the model lacks its ability. In this paper, we address and resolve this challenge by harnessing `label equivalence’ emerged from stochastic numeric label assignments during episodic task sampling. Questioning what defines “true’ meta-learning, we introduce the “any-way’ learning paradigm, an innovative model training approach that liberates model from fixed cardinality constraints. Surprisingly, this model not only matches but often outperforms traditional fixed-way models in terms of performance, convergence speed, and stability. This disrupts established notions about domain generalization. Furthermore, we argue that the inherent label equivalence naturally lacks semantic information. To bridge this semantic information gap arising from label equivalence, we further propose a mechanism for infusing semantic class information into the model. This would enhance the model’s comprehension and functionality. Experiments conducted on renowned architectures like MAML and ProtoNet affirm the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google