Progressive Latent Replay for efficient Generative Rehearsal

要約

我々は、ネットワークの深さに応じてリハーサルの頻度を調節する新しい内部リプレイの手法を紹介する。再生戦略はニューラルネットワークにおける壊滅的忘却の影響を緩和するが、生成的再生に関する最近の研究により、ネットワークの深い層にのみリハーサルを実行することで、継続的学習における性能が改善されることが示されている。しかし、生成的なアプローチは、さらなる計算オーバーヘッドをもたらすため、その応用は限定的である。我々は、ニューラルネットワークの初期層はあまり急激に忘却しないという観察に基づき、リハーサル時に中間レベルの特徴を用いて、様々な頻度でネットワーク層を更新することを提案する。これにより、ジェネレータの深い層とメインモデルの早い層の両方の計算が省略され、計算負荷が軽減される。我々はこの手法をProgressive Latent Replayと名付け、Internal Replayよりも少ないリソースで高いパフォーマンスを発揮することを示す。

要約(オリジナル)

We introduce a new method for internal replay that modulates the frequency of rehearsal based on the depth of the network. While replay strategies mitigate the effects of catastrophic forgetting in neural networks, recent works on generative replay show that performing the rehearsal only on the deeper layers of the network improves the performance in continual learning. However, the generative approach introduces additional computational overhead, limiting its applications. Motivated by the observation that earlier layers of neural networks forget less abruptly, we propose to update network layers with varying frequency using intermediate-level features during replay. This reduces the computational burden by omitting computations for both deeper layers of the generator and earlier layers of the main model. We name our method Progressive Latent Replay and show that it outperforms Internal Replay while using significantly fewer resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL