MOST: MR reconstruction Optimization for multiple downStream Tasks via continual learning

要約

ディープラーニングベースの磁気共鳴（MR）再構成手法は、高品質の画像を生成することに焦点を当ててきましたが、再構成された画像を利用する下流のタスク（セグメンテーションなど）への影響が見落とされることがよくあります。
個別にトレーニングされた再構成ネットワークと下流のタスク ネットワークをカスケード接続すると、エラーの伝播とトレーニング データセット間のドメイン ギャップによるパフォーマンスの低下が生じることが示されています。
この問題を軽減するために、単一の下流タスクに対して下流タスク指向の再構成最適化が提案されています。
この最適化をマルチタスクのシナリオに拡張するのは簡単ではありません。
この研究では、この最適化を拡張して複数の下流タスクを順次導入し、継続学習 (MOST) を導入することで単一の MR 再構成ネットワークを複数の下流タスクに対して最適化できることを実証しました。
壊滅的な忘却を克服するために、再生ベースの継続学習と画像誘導型喪失からの最も統合された技術。
比較実験により、MOST は、微調整なしの再構成ネットワーク、単純な微調整を使用した再構成ネットワーク、および従来の継続的な学習方法よりも優れたパフォーマンスを発揮することが実証されました。
この進歩により、単一の MR 再構成ネットワークを複数の下流タスクに適用できるようになります。
ソースコードはhttps://github.com/SNU-LIST/MOSTから入手できます。

要約(オリジナル)

Deep learning-based Magnetic Resonance (MR) reconstruction methods have focused on generating high-quality images but they often overlook the impact on downstream tasks (e.g., segmentation) that utilize the reconstructed images. Cascading separately trained reconstruction network and downstream task network has been shown to introduce performance degradation due to error propagation and domain gaps between training datasets. To mitigate this issue, downstream task-oriented reconstruction optimization has been proposed for a single downstream task. Expanding this optimization to multi-task scenarios is not straightforward. In this work, we extended this optimization to sequentially introduced multiple downstream tasks and demonstrated that a single MR reconstruction network can be optimized for multiple downstream tasks by deploying continual learning (MOST). MOST integrated techniques from replay-based continual learning and image-guided loss to overcome catastrophic forgetting. Comparative experiments demonstrated that MOST outperformed a reconstruction network without finetuning, a reconstruction network with na\’ive finetuning, and conventional continual learning methods. This advancement empowers the application of a single MR reconstruction network for multiple downstream tasks. The source code is available at: https://github.com/SNU-LIST/MOST

arxiv情報

提供元, 利用サービス

arxiv.jp, Google