Class Impression for Data-free Incremental Learning

要約

標準的な深層学習ベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集する必要があり、オフラインで学習されます。このパラダイムは、新しいデータの追加によって新しいクラスが漸進的に導入される実世界の臨床アプリケーションでは実用的でない可能性があります。クラス漸増学習は、このようなデータからの学習を可能にする戦略である。しかし、学習したモデルを新しいデータに適応させる際に、以前のクラスに対する性能が低下するという致命的な忘却が大きな課題となっている。この課題を解決するために、学習データの一部を保存する方法が提案されているが、その場合、データを永久に保存する必要があり、プライバシーの問題が発生する可能性がある。本論文では、データ不要の新しいクラス漸増学習フレームワークを提案する。このフレームワークでは、まず、以前のクラスで学習したモデルからデータを合成して閾値を生成する。本論文では、まず、過去のクラスで学習させたモデルからデータを合成して閾値を生成し、その後、合成されたデータと新しいクラスのデータを組み合わせてモデルを更新する、データ不要のクラス漸増学習フレームワークを提案する。さらに、アンバランスの悪影響を緩和するためのcosine正規化クロスエントロピー損失、前クラスと新クラスの分離を高めるためのマージン損失、合成データで学習したモデルを実データに一般化するための領域内対比損失を組み込む。提案するフレームワークをクラス漸増学習における最先端の手法と比較し、11,062人の患者の心エコーシネシリーズの分類において、精度が向上することを示す。

要約(オリジナル)

Standard deep learning-based classification approaches require collecting all samples from all classes in advance and are trained offline. This paradigm may not be practical in real-world clinical applications, where new classes are incrementally introduced through the addition of new data. Class incremental learning is a strategy allowing learning from such data. However, a major challenge is catastrophic forgetting, i.e., performance degradation on previous classes when adapting a trained model to new data. Prior methodologies to alleviate this challenge save a portion of training data require perpetual storage of such data that may introduce privacy issues. Here, we propose a novel data-free class incremental learning framework that first synthesizes data from the model trained on previous classes to generate a \ours. Subsequently, it updates the model by combining the synthesized data with new class data. Furthermore, we incorporate a cosine normalized Cross-entropy loss to mitigate the adverse effects of the imbalance, a margin loss to increase separation among previous classes and new ones, and an intra-domain contrastive loss to generalize the model trained on the synthesized data to real data. We compare our proposed framework with state-of-the-art methods in class incremental learning, where we demonstrate improvement in accuracy for the classification of 11,062 echocardiography cine series of patients.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL