Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning

要約

連続学習は、過去に学習した全てのタスクで良好な成績を収めながら、オンライン学習方式で過去に獲得した知識を活用して一連のタスクを学習することを目的としている。この能力は人工知能（AI）システムにとって重要であり、したがって連続学習は従来の学習パターンに比べて、実世界のほとんどの複雑な応用シナリオに適している。しかし、現在のモデルは通常、各タスクのクラスラベルに基づいて一般的な表現を学習し、壊滅的な忘却を避けるために効果的な戦略を選択する。我々は、各タスクを実行するために、得られた知識の中から関連する有用な部分のみを選択することが、知識全体を利用するよりも効果的であると仮定している。この事実に基づき、本論文では、タスクごとに特定の関連知識を選択するための効率的なチャネルアテンションメカニズムを追加した、オンライン継続学習のための関連知識選択（SRKOCL）と名付けられた新しいフレームワークを提案する。このモデルはまた、壊滅的な忘却を回避するために、経験再生と知識蒸留を組み合わせている。最後に、様々なベンチマークを用いた広範な実験を行い、その結果、我々の提案するSRKOCLが最先端技術に対して約束されたアプローチであることを実証する。

要約(オリジナル)

Continual learning aims to learn a sequence of tasks by leveraging the knowledge acquired in the past in an online-learning manner while being able to perform well on all previous tasks, this ability is crucial to the artificial intelligence (AI) system, hence continual learning is more suitable for most real-word and complex applicative scenarios compared to the traditional learning pattern. However, the current models usually learn a generic representation base on the class label on each task and an effective strategy is selected to avoid catastrophic forgetting. We postulate that selecting the related and useful parts only from the knowledge obtained to perform each task is more effective than utilizing the whole knowledge. Based on this fact, in this paper we propose a new framework, named Selecting Related Knowledge for Online Continual Learning (SRKOCL), which incorporates an additional efficient channel attention mechanism to pick the particular related knowledge for every task. Our model also combines experience replay and knowledge distillation to circumvent the catastrophic forgetting. Finally, extensive experiments are conducted on different benchmarks and the competitive experimental results demonstrate that our proposed SRKOCL is a promised approach against the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL