Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for Continual Learning

要約

近年、機械学習、特に深層表現学習において、基本的な i.i.d. 仮定を克服し、様々な分布シフトやサンプル選択バイアスの影響を受ける非定常環境に取り組むための方法論に新たな関心が持たれている。このような背景のもと、アーキテクチャプリオール、正則化器、リプレイポリシーに基づく計算機的アプローチがいくつか提案されており、それらが開発・評価された特定のシナリオによって異なる程度の成功を収めています。しかし、効率と効果のトレードオフを調整しながら柔軟かつ汎用的に適用できる包括的なハイブリッドソリューションの設計は、まだ遠い目標であるように思われる。本論文では、著名なAR1アルゴリズムとその変種をハイブリッドに一般化した「Architect, Regularize and Replay」（ARR）を提案し、古典的シナリオ（例：クラス増分学習）において最先端の結果を達成するとともに、CIFAR-100、Corde50、ImageNet-1000などの実世界データセットから生成した任意のデータストリームに一般化できることを明らかにする。

要約(オリジナル)

In recent years we have witnessed a renewed interest in machine learning methodologies, especially for deep representation learning, that could overcome basic i.i.d. assumptions and tackle non-stationary environments subject to various distributional shifts or sample selection biases. Within this context, several computational approaches based on architectural priors, regularizers and replay policies have been proposed with different degrees of success depending on the specific scenario in which they were developed and assessed. However, designing comprehensive hybrid solutions that can flexibly and generally be applied with tunable efficiency-effectiveness trade-offs still seems a distant goal. In this paper, we propose ‘Architect, Regularize and Replay’ (ARR), an hybrid generalization of the renowned AR1 algorithm and its variants, that can achieve state-of-the-art results in classic scenarios (e.g. class-incremental learning) but also generalize to arbitrary data streams generated from real-world datasets such as CIFAR-100, CORe50 and ImageNet-1000.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL