Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening

要約

従来の手法では、心臓画像のセグメンテーションで有望な結果が得られているが、静的な学習、すなわち、一度最適化されたネットワークでは、モデル更新の潜在的な必要性は無視されている。現実の世界では、複数の機関から新しいデータが次々と収集され、より満足度の高い性能を追求するための新たな要求が増え続けている。このような状況下では、データセットから徐々に学習し、時間の経過とともに機能を向上させるモデルが必要となります。複数のサイトから順次配信されるデータセットは通常異種であり、ドメインも異なるため、更新されるモデルは過去に学習したドメインを壊滅的に忘れてはならない一方で、現在到達しているドメインや未知のドメインにもうまく汎化しなければならない。医療分野では、プライバシー保護の観点から過去のデータへのアクセスや保存は一般的に認められていないため、これは特に困難である。このため、我々は、過去の領域入力を最初に回復し、モデル最適化の際に定期的にそれを再生する、新しい領域増分学習の枠組みを提案する。特に、スタイル指向の再生モジュールを用いることで、構造実測的かつメモリ効率の良い過去データの再生を可能とし、次に、再生された過去データを現在のデータと共にモデルの最適化に組み込むことで、壊滅的な忘却を軽減する。さらに、最適化の際に、ドメインセンシティブフィーチャーホワイトニングを行い、ドメインの変化に敏感な特徴（例えば、ドメイン特有のスタイル特徴）へのモデルの依存を抑制し、ドメイン不変の特徴探索を支援し、ネットワークの汎化性能を徐々に向上させる。我々は、M&Msデータセットを用いて、単一ドメインおよび複合ドメインの漸増学習設定において、我々のアプローチを広範囲に評価し、他の比較アプローチよりも性能が向上していることを確認した。

要約(オリジナル)

Contemporary methods have shown promising results on cardiac image segmentation, but merely in static learning, i.e., optimizing the network once for all, ignoring potential needs for model updating. In real-world scenarios, new data continues to be gathered from multiple institutions over time and new demands keep growing to pursue more satisfying performance. The desired model should incrementally learn from each incoming dataset and progressively update with improved functionality as time goes by. As the datasets sequentially delivered from multiple sites are normally heterogenous with domain discrepancy, each updated model should not catastrophically forget previously learned domains while well generalizing to currently arrived domains or even unseen domains. In medical scenarios, this is particularly challenging as accessing or storing past data is commonly not allowed due to data privacy. To this end, we propose a novel domain-incremental learning framework to recover past domain inputs first and then regularly replay them during model optimization. Particularly, we first present a style-oriented replay module to enable structure-realistic and memory-efficient reproduction of past data, and then incorporate the replayed past data to jointly optimize the model with current data to alleviate catastrophic forgetting. During optimization, we additionally perform domain-sensitive feature whitening to suppress model’s dependency on features that are sensitive to domain changes (e.g., domain-distinctive style features) to assist domain-invariant feature exploration and gradually improve the generalization performance of the network. We have extensively evaluated our approach with the M&Ms Dataset in single-domain and compound-domain incremental learning settings with improved performance over other comparison approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL