Kaizen: Practical Self-supervised Continual Learning with Continual Fine-tuning

要約

自己教師あり学習 (SSL) は、オフラインでトレーニングした場合、コンピューター ビジョン タスクで顕著なパフォーマンスを示しました。
ただし、新しいデータが段階的に導入される継続学習 (CL) シナリオでは、モデルは依然として壊滅的な忘却に悩まされます。
新しく生成されたデータに適応するためにモデルを最初から再トレーニングするのは時間がかかり、非効率的です。
以前のアプローチでは、微調整中にすべてのタスクのラベルが利用可能であると仮定して、タスク間での忘れを軽減するために知識の蒸留を使用して自己教師付き目標を再目的化することが提案されていました。
このペーパーでは、SSL プロセスのどのステップでも利用可能なラベルを活用できる実践的な設定における自己教師あり継続学習を一般化します。
継続的なタスクの数が増えると、事前トレーニングおよび微調整フェーズでの柔軟性が向上します。
Kaizen では、慎重に設計された損失関数を使用して、特徴抽出器と分類器の両方の壊滅的な忘れを軽減できるトレーニング アーキテクチャを導入します。
継続的学習のさまざまな側面を反映する一連の包括的な評価指標を使用することにより、Kaizen が競合ビジョン ベンチマークで以前の SSL モデルを大幅に上回り、分割 CIFAR-100 で精度が最大 16.5% 向上することを実証しました。
Kaizen は、エンドツーエンド モデルを使用して、知識の保持と新しいデータからの学習の間のトレードオフのバランスをとることができ、継続的な学習システムの実用的な展開への道を開きます。

要約(オリジナル)

Self-supervised learning (SSL) has shown remarkable performance in computer vision tasks when trained offline. However, in a Continual Learning (CL) scenario where new data is introduced progressively, models still suffer from catastrophic forgetting. Retraining a model from scratch to adapt to newly generated data is time-consuming and inefficient. Previous approaches suggested re-purposing self-supervised objectives with knowledge distillation to mitigate forgetting across tasks, assuming that labels from all tasks are available during fine-tuning. In this paper, we generalize self-supervised continual learning in a practical setting where available labels can be leveraged in any step of the SSL process. With an increasing number of continual tasks, this offers more flexibility in the pre-training and fine-tuning phases. With Kaizen, we introduce a training architecture that is able to mitigate catastrophic forgetting for both the feature extractor and classifier with a carefully designed loss function. By using a set of comprehensive evaluation metrics reflecting different aspects of continual learning, we demonstrated that Kaizen significantly outperforms previous SSL models in competitive vision benchmarks, with up to 16.5% accuracy improvement on split CIFAR-100. Kaizen is able to balance the trade-off between knowledge retention and learning from new data with an end-to-end model, paving the way for practical deployment of continual learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google