Continual Learning: Forget-free Winning Subnetworks for Video Representations

要約

大規模で高密度のネットワーク内に効率的なサブネットワークが存在することを強調する宝くじチケット仮説 (LTH) にヒントを得て、適切なスパース性条件下でのタスク パフォーマンスの点で高性能の Winning Subnetwork (WSN) がさまざまな継続学習タスクに対して考慮されます。
高密度ネットワークからの既存の重みを利用して、タスク増分学習 (TIL) およびタスクに依存しない増分学習 (TaIL) シナリオで効率的な学習を実現します。
Few-Shot Class Incremental Learning (FSCIL) では、ソフト サブネットワーク (SoftNet) と呼ばれる WSN のバリエーションが、データ サンプルが不足している場合の過剰適合を防ぐように設計されています。
さらに、ビデオ増分学習 (VIL) では、WSN 重みのスパース再利用が考慮されています。
WSN 内でのフーリエ サブニューラル オペレーター (FSO) の使用が検討されています。
これにより、ビデオのコンパクトなエンコードが可能になり、さまざまな帯域幅にわたって再利用可能なサブネットワークが識別されます。
私たちは、継続的な学習のために、VIL、TIL、FSCIL などのさまざまなアーキテクチャ フレームワークに FSO を統合しました。
私たちの包括的な実験は、FSO の有効性を実証し、さまざまな畳み込み表現レベルでタスクのパフォーマンスを大幅に向上させます。
具体的には、FSO は、TIL および FSCIL の上位層のパフォーマンスと、VIL の下位層のパフォーマンスを強化します。

要約(オリジナル)

Inspired by the Lottery Ticket Hypothesis (LTH), which highlights the existence of efficient subnetworks within larger, dense networks, a high-performing Winning Subnetwork (WSN) in terms of task performance under appropriate sparsity conditions is considered for various continual learning tasks. It leverages pre-existing weights from dense networks to achieve efficient learning in Task Incremental Learning (TIL) and Task-agnostic Incremental Learning (TaIL) scenarios. In Few-Shot Class Incremental Learning (FSCIL), a variation of WSN referred to as the Soft subnetwork (SoftNet) is designed to prevent overfitting when the data samples are scarce. Furthermore, the sparse reuse of WSN weights is considered for Video Incremental Learning (VIL). The use of Fourier Subneural Operator (FSO) within WSN is considered. It enables compact encoding of videos and identifies reusable subnetworks across varying bandwidths. We have integrated FSO into different architectural frameworks for continual learning, including VIL, TIL, and FSCIL. Our comprehensive experiments demonstrate FSO’s effectiveness, significantly improving task performance at various convolutional representational levels. Specifically, FSO enhances higher-layer performance in TIL and FSCIL and lower-layer performance in VIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google