ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

要約

プロトタイプベースのメタ学習は、少数ショット学習の課題に対処するための強力な手法として登場しました。
ただし、限られた数の例から単純な平均関数を使用して決定論的なプロトタイプを推定することは、依然として脆弱なプロセスです。
この制限を克服するために、メタトレーニング段階でタスクガイド付き拡散モデルを利用してプロトタイプを徐々に生成し、それによって効率的なクラス表現を提供する新しいフレームワークである ProtoDiff を導入します。
具体的には、タスクごとのプロトタイプのオーバーフィットを実現するために一連のプロトタイプが最適化され、個々のタスクのオーバーフィットしたプロトタイプを正確に取得できるようになります。
さらに、プロトタイプ空間内にタスクに基づく拡散プロセスを導入し、バニラ プロトタイプからオーバーフィット プロトタイプに移行する生成プロセスのメタ学習を可能にします。
ProtoDiff は、新しいタスクに利用できる限られたサンプルを条件として、メタテスト段階でランダム ノイズからタスク固有のプロトタイプを徐々に生成します。
さらに、トレーニングを迅速化し、ProtoDiff のパフォーマンスを向上させるために、残差プロトタイプのスパース性を活用する残差プロトタイプ学習の利用を提案します。
当社では徹底的なアブレーション研究を実施し、基礎となるプロトタイプの分布を正確に捕捉し、一般化を強化する能力を実証します。
ドメイン内、クロスドメイン、および少数タスク少数ショット分類における新しい最先端のパフォーマンスは、ProtoDiff の利点をさらに実証します。

要約(オリジナル)

Prototype-based meta-learning has emerged as a powerful technique for addressing few-shot learning challenges. However, estimating a deterministic prototype using a simple average function from a limited number of examples remains a fragile process. To overcome this limitation, we introduce ProtoDiff, a novel framework that leverages a task-guided diffusion model during the meta-training phase to gradually generate prototypes, thereby providing efficient class representations. Specifically, a set of prototypes is optimized to achieve per-task prototype overfitting, enabling accurately obtaining the overfitted prototypes for individual tasks. Furthermore, we introduce a task-guided diffusion process within the prototype space, enabling the meta-learning of a generative process that transitions from a vanilla prototype to an overfitted prototype. ProtoDiff gradually generates task-specific prototypes from random noise during the meta-test stage, conditioned on the limited samples available for the new task. Furthermore, to expedite training and enhance ProtoDiff’s performance, we propose the utilization of residual prototype learning, which leverages the sparsity of the residual prototype. We conduct thorough ablation studies to demonstrate its ability to accurately capture the underlying prototype distribution and enhance generalization. The new state-of-the-art performance on within-domain, cross-domain, and few-task few-shot classification further substantiates the benefit of ProtoDiff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google