Teacher Agent: A Knowledge Distillation-Free Framework for Rehearsal-based Video Incremental Learning

要約

リハーサルベースのビデオ増分学習では、以前に学習したデータの壊滅的な忘れを軽減するために知識の蒸留がよく使用されます。
ただし、この方法は、ビデオ タスクに関して 2 つの大きな課題に直面しています。それは、教師モデルの読み込みによる大量のコンピューティング リソースと、パフォーマンスが制限された教師モデルによる制限された再生機能です。
これらの問題に対処するために、私たちはまず、\textit{Teacher Agent} と呼ばれる、リハーサルベースのビデオ増分学習のための知識蒸留のないフレームワークを提案します。
パラメータを多く使用する教師ネットワークをロードする代わりに、パラメータを使用しない、または少数のパラメータのみを使用して、正確で信頼性の高いソフト ラベルを取得するエージェント ジェネレーターを導入します。
この方法は、計算要件を大幅に削減するだけでなく、教師モデルの不正確な予測によって引き起こされる知識の誤解を招く問題も回避します。
さらに、古い知識を見直すための効果的な正則化シグナルを提供する自己修正損失を提案し、これにより壊滅的な忘却の問題が軽減されます。
さらに、メモリ バッファ内のサンプルがメモリ効率が高く代表的なものであることを保証するために、固定長のキー ビデオ フレームをマイニングするリハーサル ベースのビデオ増分学習用の統合サンプラーを導入します。
興味深いことに、提案された戦略に基づくと、ネットワークはベースラインと比較して空間解像度の低下に対して高いレベルの堅牢性を示します。
広範な実験により、この方法の利点が実証され、インクリメンタルフェーズでネットワーク入力としてビデオクリップの空間解像度の半分のみを利用しながら、パフォーマンスが大幅に向上しました。

要約(オリジナル)

Rehearsal-based video incremental learning often employs knowledge distillation to mitigate catastrophic forgetting of previously learned data. However, this method faces two major challenges for video task: substantial computing resources from loading teacher model and limited replay capability from performance-limited teacher model. To address these problems, we first propose a knowledge distillation-free framework for rehearsal-based video incremental learning called \textit{Teacher Agent}. Instead of loading parameter-heavy teacher networks, we introduce an agent generator that is either parameter-free or uses only a few parameters to obtain accurate and reliable soft labels. This method not only greatly reduces the computing requirement but also circumvents the problem of knowledge misleading caused by inaccurate predictions of the teacher model. Moreover, we put forward a self-correction loss which provides an effective regularization signal for the review of old knowledge, which in turn alleviates the problem of catastrophic forgetting. Further, to ensure that the samples in the memory buffer are memory-efficient and representative, we introduce a unified sampler for rehearsal-based video incremental learning to mine fixed-length key video frames. Interestingly, based on the proposed strategies, the network exhibits a high level of robustness against spatial resolution reduction when compared to the baseline. Extensive experiments demonstrate the advantages of our method, yielding significant performance improvements while utilizing only half the spatial resolution of video clips as network inputs in the incremental phases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google