Consistency is the key to further mitigating catastrophic forgetting in continual learning

要約

ディープニューラルネットワークは、以前に学習したタスクを壊滅的に忘れるため、複数の連続したタスクを継続的に学習するのに苦労しています。
以前のタスクサンプルをバッファに明示的に保存し、それらを現在のタスクサンプルとインターリーブするリハーサルベースの方法は、忘却を軽減するのに最も効果的であることが証明されています。
ただし、Experience Replay（ER）は、そのパフォーマンスがバッファーサイズに見合っているため、低バッファーレジームおよびより長いタスクシーケンスではうまく機能しません。
ソフトターゲットの予測の一貫性は、ソフトターゲットがデータの豊富な類似性構造をキャプチャするため、ERが以前のタスクに関連する情報をより適切に保存するのに役立ちます。
したがって、さまざまな継続的な学習シナリオの下でのERフレームワークにおける一貫性の正則化の役割を調べます。
また、一貫性の正則化を自己教師ありの口実タスクとしてキャストすることを提案します。これにより、正則化としてさまざまな自己教師あり学習方法を使用できるようになります。
モデルのキャリブレーションと自然な破損に対する堅牢性を同時に強化すると同時に、予測の一貫性を正規化することで、すべての継続的な学習シナリオでの忘却が少なくなります。
レギュラライザーのさまざまなファミリーの中で、より厳密な整合性制約により、ER内の以前のタスク情報がより適切に保持されることがわかります。

要約(オリジナル)

Deep neural networks struggle to continually learn multiple sequential tasks due to catastrophic forgetting of previously learned tasks. Rehearsal-based methods which explicitly store previous task samples in the buffer and interleave them with the current task samples have proven to be the most effective in mitigating forgetting. However, Experience Replay (ER) does not perform well under low-buffer regimes and longer task sequences as its performance is commensurate with the buffer size. Consistency in predictions of soft-targets can assist ER in preserving information pertaining to previous tasks better as soft-targets capture the rich similarity structure of the data. Therefore, we examine the role of consistency regularization in ER framework under various continual learning scenarios. We also propose to cast consistency regularization as a self-supervised pretext task thereby enabling the use of a wide variety of self-supervised learning methods as regularizers. While simultaneously enhancing model calibration and robustness to natural corruptions, regularizing consistency in predictions results in lesser forgetting across all continual learning scenarios. Among the different families of regularizers, we find that stricter consistency constraints preserve previous task information in ER better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google