Continual Learning: Forget-free Winning Subnetworks for Video Representations

要約

より大規模で高密度なネットワーク内に効率的なサブネットワークが存在することを強調する宝くじ券仮説（LTH）に触発され、適切なスパース性条件下でタスク性能の点で高性能なウィニングサブネットワーク（WSN）を様々な継続学習タスクについて検討する。WSNは、タスク漸増学習(TIL)シナリオにおいて効率的な学習を達成するために、密なネットワークから得られる既存の重みを活用する。Few-Shot Class Incremental Learning (FSCIL)では、ソフトサブネットワーク(SoftNet)と呼ばれるWSNのバリエーションが、データサンプルが少ない場合のオーバーフィッティングを防ぐために設計されている。さらに、Video Incremental Learning (VIL)のために、WSNの重みの疎な再利用が考慮されている。WSNにおけるフーリエ・サブニューラル・オペレータ(FSO)の使用が検討されている。FSOはビデオのコンパクトな符号化を可能にし、様々な帯域幅にわたって再利用可能なサブネットワークを識別する。我々はFSOをVIL、TIL、FSCILを含む継続的学習のための様々なアーキテクチャフレームワークに統合した。我々の包括的な実験により、FSOの有効性が実証され、様々な畳み込み表現レベルにおいてタスク性能が大幅に改善された。具体的には、FSOはTILとFSCILでは高レイヤーの性能を、VILでは低レイヤーの性能を向上させる。

要約(オリジナル)

Inspired by the Lottery Ticket Hypothesis (LTH), which highlights the existence of efficient subnetworks within larger, dense networks, a high-performing Winning Subnetwork (WSN) in terms of task performance under appropriate sparsity conditions is considered for various continual learning tasks. It leverages pre-existing weights from dense networks to achieve efficient learning in Task Incremental Learning (TIL) scenarios. In Few-Shot Class Incremental Learning (FSCIL), a variation of WSN referred to as the Soft subnetwork (SoftNet) is designed to prevent overfitting when the data samples are scarce. Furthermore, the sparse reuse of WSN weights is considered for Video Incremental Learning (VIL). The use of Fourier Subneural Operator (FSO) within WSN is considered. It enables compact encoding of videos and identifies reusable subnetworks across varying bandwidths. We have integrated FSO into different architectural frameworks for continual learning, including VIL, TIL, and FSCIL. Our comprehensive experiments demonstrate FSO’s effectiveness, significantly improving task performance at various convolutional representational levels. Specifically, FSO enhances higher-layer performance in TIL and FSCIL and lower-layer performance in VIL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL