Universal Incremental Learning: Mitigating Confusion from Inter- and Intra-task Distribution Randomness

要約

Incremental Learning（IL）は、新しいタスクを学習しながら、以前のタスクの壊滅的な忘却を克服することを目指しています。
既存のILメソッドは、着信タスクタイプが新しいクラスまたはドメイン（つまり、クラスIL、ドメインIL）のみを増加させるか、クラスとドメインとドメインの存在する方法（すなわち汎用性のあるIL（VIL））で静的なスケールで増加することのいずれかで、予測不可能な動的野生での適用性を大幅に制限するという強い仮定を行います。
この作業では、$ \ textBf {Universal Incremental Learning（UIL）} $を調査します。ここでは、どの新しいクラスまたはドメインがシーケンシャルタスクに沿って増加するかも、各タスク内の増分のスケールも把握していません。
この不確実性により、モデルはすべてのタスク分布から知識を自信を持って学習し、各タスク分布内の多様な知識に対称的に焦点を当てていることを防ぎます。
その結果、UILはより一般的で現実的なILシナリオを提示し、タスク間およびタスク内分布のランダム性から生じるモデルの直面の混乱を表します。
$ \ textbf {mi} $ tigate tigateの両方の$ \ textbf {co} $ nfusion、$ \ textbf {mico} $という名前のuilのシンプルで効果的なフレームワークを提案します。
タスク間分布レベルでは、多目的学習スキームを採用して正確で決定論的な予測を実施し、その有効性は、競合する勾配を減らす方向再生モジュールによってさらに強化されます。
さらに、タスク内分布レベルで、不均衡なクラス分布に対する非対称的な最適化を軽減するために、マグニチュード再調整モジュールを導入します。
3つのベンチマークでの広範な実験は、私たちの方法の有効性を示しており、UILシナリオとVILシナリオの両方で既存の最先端の方法を上回っています。
私たちのコードは、$ \ href {https://github.com/rolsheng/uil} {here} $で入手できます。

要約(オリジナル)

Incremental learning (IL) aims to overcome catastrophic forgetting of previous tasks while learning new ones. Existing IL methods make strong assumptions that the incoming task type will either only increases new classes or domains (i.e. Class IL, Domain IL), or increase by a static scale in a class- and domain-agnostic manner (i.e. Versatile IL (VIL)), which greatly limit their applicability in the unpredictable and dynamic wild. In this work, we investigate $\textbf{Universal Incremental Learning (UIL)}$, where a model neither knows which new classes or domains will increase along sequential tasks, nor the scale of the increments within each task. This uncertainty prevents the model from confidently learning knowledge from all task distributions and symmetrically focusing on the diverse knowledge within each task distribution. Consequently, UIL presents a more general and realistic IL scenario, making the model face confusion arising from inter-task and intra-task distribution randomness. To $\textbf{Mi}$tigate both $\textbf{Co}$nfusion, we propose a simple yet effective framework for UIL, named $\textbf{MiCo}$. At the inter-task distribution level, we employ a multi-objective learning scheme to enforce accurate and deterministic predictions, and its effectiveness is further enhanced by a direction recalibration module that reduces conflicting gradients. Moreover, at the intra-task distribution level, we introduce a magnitude recalibration module to alleviate asymmetrical optimization towards imbalanced class distribution. Extensive experiments on three benchmarks demonstrate the effectiveness of our method, outperforming existing state-of-the-art methods in both the UIL scenario and the VIL scenario. Our code will be available at $\href{https://github.com/rolsheng/UIL}{here}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google