A Plasticity-Aware Method for Continual Self-Supervised Learning in Remote Sensing

要約

継続的な自己学習学習（CSSL）方法は、非標識データの連続ストリームから新しいタスクを順次学習する能力により、リモートセンシング（RS）の注目を集めています。
既存のCSSLメソッドは、新しいタスクを学習しながら、壊滅的な忘却の防止に焦点を当てています。
この目的のために、それらのほとんどは正規化戦略を使用して、以前のタスクの知識を保持しています。
これにより、パフォーマンスを低下させる可能性のある新しいタスクのデータ（つまり、可塑性の学習）に適応するモデルの能力が低下します。
この問題に対処するために、この論文では、高学習の可塑性を達成しながら、タスクを順次学習することを目的とする新しいCSSLメソッドを提案します。
この目的のために、提案された方法は、統合されたデカップリングメカニズムを備えた知識蒸留戦略を使用します。
デカップリングは、最初に特徴の寸法をタスクコモンとタスク固有の部分に分割することによって達成されます。
次に、タスク固有の機能を確保するためにタスクコモンの機能を相関させ、タスク固有の機能は、新機能の学習を促進する相関を解体することを余儀なくされます。
実験結果は、広く使用されているCSSLフレームワークであるCassleと比較して提案された方法の有効性を示しており、平均精度で最大1.12％、タスクインクリメンタルシナリオでは非妥協が2.33％、平均精度で1.24％、クラス関節シーンでの内容が2.01％であることが示されています。

要約(オリジナル)

Continual self-supervised learning (CSSL) methods have gained increasing attention in remote sensing (RS) due to their capability to learn new tasks sequentially from continuous streams of unlabeled data. Existing CSSL methods, while learning new tasks, focus on preventing catastrophic forgetting. To this end, most of them use regularization strategies to retain knowledge of previous tasks. This reduces the model’s ability to adapt to the data of new tasks (i.e., learning plasticity), which can degrade performance. To address this problem, in this paper, we propose a novel CSSL method that aims to learn tasks sequentially, while achieving high learning plasticity. To this end, the proposed method uses a knowledge distillation strategy with an integrated decoupling mechanism. The decoupling is achieved by first dividing the feature dimensions into task-common and task-specific parts. Then, the task-common features are forced to be correlated to ensure memory stability while the task-specific features are forced to be de-correlated facilitating the learning of new features. Experimental results show the effectiveness of the proposed method compared to CaSSLe, which is a widely used CSSL framework, with improvements of up to 1.12% in average accuracy and 2.33% in intransigence in a task-incremental scenario, and 1.24% in average accuracy and 2.01% in intransigence in a class-incremental scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google