Prototype Augmented Hypernetworks for Continual Learning

要約

継続的な学習（CL）は、事前の知識を忘れることなく一連のタスクを学ぶことを目指していますが、新しいタスクのグラデーション更新は、しばしば以前に学んだ重みを上書きし、壊滅的な忘却（CF）を引き起こします。
学習可能なタスクプロトタイプを条件付けられた単一のハイパーネットワークが、タスク固有の分類器ヘッドをオンデマンドで動的に生成するフレームワークであるプロトタイプを得たハイパーネットワーク（PAH）を提案します。
忘却を緩和するために、PAHはクロスエントロピーと二重蒸留損失を組み合わせて、1つはロジットを整列させてプロトタイプを調整し、タスク全体の安定した特徴表現を確保します。
Split-Cifar100とTinyImagenetの評価は、PAHが最先端のパフォーマンスを達成し、それぞれ74.5％と63.7％の精度に達し、それぞれ1.7％と4.4％の忘れを忘れて、サンプルやヘッドを保存せずに以前の方法を上回ることを示しています。

要約(オリジナル)

Continual learning (CL) aims to learn a sequence of tasks without forgetting prior knowledge, but gradient updates for a new task often overwrite the weights learned earlier, causing catastrophic forgetting (CF). We propose Prototype-Augmented Hypernetworks (PAH), a framework where a single hypernetwork, conditioned on learnable task prototypes, dynamically generates task-specific classifier heads on demand. To mitigate forgetting, PAH combines cross-entropy with dual distillation losses, one to align logits and another to align prototypes, ensuring stable feature representations across tasks. Evaluations on Split-CIFAR100 and TinyImageNet demonstrate that PAH achieves state-of-the-art performance, reaching 74.5 % and 63.7 % accuracy with only 1.7 % and 4.4 % forgetting, respectively, surpassing prior methods without storing samples or heads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google