Online Reflective Learning for Robust Medical Image Segmentation

要約

ディープセグメンテーションモデルは、テスト画像が未知の分布を示す場合、しばしば失敗のリスクに直面する。これらのリスクに対するモデルの頑健性を向上させることは、ディープモデルの大規模な臨床応用に極めて重要である。本研究では、人間の学習サイクルに着想を得て、セグメンテーションの頑健性を向上させるための新しいオンライン反射学習フレームワーク(RefSeg)を提案する。RefSegはReflection-on-Actionの概念に基づき、まずセマンティックセグメンテーションを得るためにディープモデルが行動を起こすように駆動する。そして、RefSegはモデル自身にリフレクションさせる。テスト中にディープモデルにセグメンテーションの失敗を認識させることは困難であるため、RefSegはセマンティックマスクからリアルな代理画像を合成し、ディープモデルが直感的かつ効果的に反映できるようにする。このプロキシは、セグメンテーションの欠陥を翻訳し、強調する。生の入力とプロキシの構造的な類似性を最大化することで、セグメンテーションの頑健性が改善され、反射オンアクションループが閉じられる。RefSegはテスト段階で実行され、セグメンテーションモデルに対して一般的である。心臓MRの公開データセットと2つの自社製大型超音波データセットを用いた3つの医療画像セグメンテーションタスクの広範な検証により、我々のRefSegはモデルの頑健性を著しく向上させ、強力な競合相手に対して最先端の性能を報告することが示された。

要約(オリジナル)

Deep segmentation models often face the failure risks when the testing image presents unseen distributions. Improving model robustness against these risks is crucial for the large-scale clinical application of deep models. In this study, inspired by human learning cycle, we propose a novel online reflective learning framework (RefSeg) to improve segmentation robustness. Based on the reflection-on-action conception, our RefSeg firstly drives the deep model to take action to obtain semantic segmentation. Then, RefSeg triggers the model to reflect itself. Because making deep models realize their segmentation failures during testing is challenging, RefSeg synthesizes a realistic proxy image from the semantic mask to help deep models build intuitive and effective reflections. This proxy translates and emphasizes the segmentation flaws. By maximizing the structural similarity between the raw input and the proxy, the reflection-on-action loop is closed with segmentation robustness improved. RefSeg runs in the testing phase and is general for segmentation models. Extensive validation on three medical image segmentation tasks with a public cardiac MR dataset and two in-house large ultrasound datasets show that our RefSeg remarkably improves model robustness and reports state-of-the-art performance over strong competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL