No Forgetting Learning: Memory-free Continual Learning

要約

継続的な学習（CL）は依然として深い学習の中心的な課題であり、モデルは以前のタスクの壊滅的な忘却（CF）を緩和しながら、新しい知識を順次獲得する必要があります。
既存のアプローチは、多くの場合、効率とスケーラビリティと格闘しており、広範なメモリまたはモデルバッファを必要とします。
この作業では、「忘れられない学習」（NFL）を紹介します。これは、可塑性を維持しながら安定性を維持するために知識の蒸留を活用するメモリフリーCLフレームワークです。
メモリフリーとは、NFLがメモリバッファーに依存しないことを意味します。
3つのベンチマークデータセットの広範な評価を通じて、NFLは最先端の方法よりも約14.75倍少ないメモリを利用しながら競争力のあるパフォーマンスを達成することを実証します。
さらに、CLの可塑性安定性トレードオフをより適切に評価するために、新しいメトリックを導入します。

要約(オリジナル)

Continual Learning (CL) remains a central challenge in deep learning, where models must sequentially acquire new knowledge while mitigating Catastrophic Forgetting (CF) of prior tasks. Existing approaches often struggle with efficiency and scalability, requiring extensive memory or model buffers. This work introduces “No Forgetting Learning’ (NFL), a memory-free CL framework that leverages knowledge distillation to maintain stability while preserving plasticity. Memory-free means the NFL does not rely on any memory buffer. Through extensive evaluations of three benchmark datasets, we demonstrate that NFL achieves competitive performance while utilizing approximately 14.75 times less memory than state-of-the-art methods. Furthermore, we introduce a new metric to better assess CL’s plasticity-stability trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google