Streaming LifeLong Learning With Any-Time Inference

要約

生涯学習 (LLL) 研究の急速な進歩にもかかわらず、多くの研究は主に既存の \textit{static} 継続的学習 (CL) セットアップのパフォーマンスを改善することに焦点を当てています。
これらのメソッドは、急速に変化する \textit{dynamic} 環境で成功する能力を欠いています。この環境では、AI エージェントは、非 i.i.d (おそらく時間的に連続した/コヒーレントな) データ ストリームから新しいインスタンスを「単一パス」で迅速に学習する必要があります。
壊滅的な忘却に苦しんでいます。
実用的な適用性のために、ストリーミングである新しい生涯学習アプローチを提案します。つまり、単一の入力サンプルが各時間ステップ、単一パス、クラスインクリメンタルで到着し、いつでも評価される対象となります。
この困難なセットアップとさまざまな評価プロトコルに対処するために、単一のトレーニング例が与えられた場合に高速なパラメーター更新を可能にし、いつでも推論を可能にするベイジアン フレームワークを提案します。
さらに、忘却をさらに効果的に最小化するスナップショット自己蒸留の形で暗黙的な正則化を提案します。
さらに、オンラインメモリリハーサル用のサンプルのサブセットを効率的に選択し、全体的なパフォーマンスを大幅に向上させる新しいリプレイバッファ管理スキームを採用する効果的な方法を提案します。
私たちの経験的評価とアブレーションは、提案された方法が以前の研究よりも大幅に優れていることを示しています。

要約(オリジナル)

Despite rapid advancements in lifelong learning (LLL) research, a large body of research mainly focuses on improving the performance in the existing \textit{static} continual learning (CL) setups. These methods lack the ability to succeed in a rapidly changing \textit{dynamic} environment, where an AI agent needs to quickly learn new instances in a `single pass’ from the non-i.i.d (also possibly temporally contiguous/coherent) data streams without suffering from catastrophic forgetting. For practical applicability, we propose a novel lifelong learning approach, which is streaming, i.e., a single input sample arrives in each time step, single pass, class-incremental, and subject to be evaluated at any moment. To address this challenging setup and various evaluation protocols, we propose a Bayesian framework, that enables fast parameter update, given a single training example, and enables any-time inference. We additionally propose an implicit regularizer in the form of snap-shot self-distillation, which effectively minimizes the forgetting further. We further propose an effective method that efficiently selects a subset of samples for online memory rehearsal and employs a new replay buffer management scheme that significantly boosts the overall performance. Our empirical evaluations and ablations demonstrate that the proposed method outperforms the prior works by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google