RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning

要約

継続的な学習は主に、壊滅的な忘却とそれに関連する安定性と可塑性のトレードオフの問題に焦点を当ててきました。
ただし、表現は学習プロセス全体を通じて分類子とともに学習されるため、継続的に学習される表現の有効性についてはほとんど注目されていません。
私たちの主な貢献は、既存のオンラインで継続的にトレーニングされたディープ ネットワークが、単純な事前定義されたランダム変換と比較して劣った表現を生成することを経験的に実証したことです。
私たちのアプローチでは、固定ランダム変換を使用して生のピクセルを埋め込み、データが表示される前に初期化された RBF カーネルを近似します。
次に、サンプルを保存せずに単純な線形分類器を上でトレーニングし、オンラインの継続学習設定で一度に 1 つのサンプルを処理します。
RanDumb と呼ばれるこの手法は、すべての標準オンライン継続学習ベンチマークにおいて、最先端の継続学習表現を大幅に上回ります。
私たちの研究では、特に模範の低いオンライン継続学習シナリオにおいて、表現学習の重大な限界が明らかになりました。
事前トレーニング済みモデルを使用した一般的なサンプルなしのシナリオに調査を拡張したところ、事前トレーニング済みの表現上で線形分類器のみをトレーニングすることは、ほとんどの継続的な微調整および即時調整戦略を上回ることがわかりました。
全体として、私たちの調査は、オンライン継続学習における効果的な表現学習に関する一般的な前提に疑問を投げかけています。
私たちのコードは、://github.com/drimpossible/RanDumb で入手できます。

要約(オリジナル)

Continual learning has primarily focused on the issue of catastrophic forgetting and the associated stability-plasticity tradeoffs. However, little attention has been paid to the efficacy of continually learned representations, as representations are learned alongside classifiers throughout the learning process. Our primary contribution is empirically demonstrating that existing online continually trained deep networks produce inferior representations compared to a simple pre-defined random transforms. Our approach embeds raw pixels using a fixed random transform, approximating an RBF-Kernel initialized before any data is seen. We then train a simple linear classifier on top without storing any exemplars, processing one sample at a time in an online continual learning setting. This method, called RanDumb, significantly outperforms state-of-the-art continually learned representations across all standard online continual learning benchmarks. Our study reveals the significant limitations of representation learning, particularly in low-exemplar and online continual learning scenarios. Extending our investigation to popular exemplar-free scenarios with pretrained models, we find that training only a linear classifier on top of pretrained representations surpasses most continual fine-tuning and prompt-tuning strategies. Overall, our investigation challenges the prevailing assumptions about effective representation learning in online continual learning. Our code is available at://github.com/drimpossible/RanDumb.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google