Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship

要約

継続学習は、ストリーミング学習データ上で以前に学習した知識を保持しながら新しいタスクを学習する、有望な機械学習パラダイムである。これまでのところ、リハーサルに基づく手法では、古いタスクのデータの一部をメモリバッファとして保持することで、以前に学習した知識の壊滅的忘却を軽減することに成功している。しかし、これらの手法の多くは、それぞれの新しいタスクを同等に扱うのが一般的であり、新旧タスク間の関係や類似性を十分に考慮していない可能性がある。さらに、これらの手法は、継続的な学習プロセスにおけるサンプルの重要性を無視することが一般的であり、その結果、特定のタスクにおいて最適とは言えない性能を示すことになる。この困難な問題に対処するために、我々は、より良い「安定性」と「可塑性」のトレードオフを達成するために、各タスク内のタスクごとの関係とサンプルの重要度を適応的に調整する2レベル学習フレームワークであるRelational Experience Replay (RER)を提案する。このように、提案手法は、継続的な学習中に、以前に学習した古い知識を定着させながら、新しい知識を蓄積することができる。公開されている3つのデータセット(CIFAR-10, CIFAR-100, Tiny ImageNet)を用いた広範な実験により、提案手法が全てのベースラインの性能を一貫して向上させ、現在の最先端手法を凌駕できることが示される。

要約(オリジナル)

Continual learning is a promising machine learning paradigm to learn new tasks while retaining previously learned knowledge over streaming training data. Till now, rehearsal-based methods, keeping a small part of data from old tasks as a memory buffer, have shown good performance in mitigating catastrophic forgetting for previously learned knowledge. However, most of these methods typically treat each new task equally, which may not adequately consider the relationship or similarity between old and new tasks. Furthermore, these methods commonly neglect sample importance in the continual training process and result in sub-optimal performance on certain tasks. To address this challenging problem, we propose Relational Experience Replay (RER), a bi-level learning framework, to adaptively tune task-wise relationships and sample importance within each task to achieve a better `stability’ and `plasticity’ trade-off. As such, the proposed method is capable of accumulating new knowledge while consolidating previously learned old knowledge during continual learning. Extensive experiments conducted on three publicly available datasets (i.e., CIFAR-10, CIFAR-100, and Tiny ImageNet) show that the proposed method can consistently improve the performance of all baselines and surpass current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL