Super-Resolution Based Patch-Free 3D Medical Image Segmentation with Self-Supervised Guidance

要約

高解像度 (HR) 3D 医用画像セグメンテーションは、臨床診断において重要な役割を果たします。
ただし、ビデオ メモリが限られているため、主流のグラフィック カードで HR 画像を直接処理することは困難です。
したがって、ほとんどの既存の 3D 医用画像セグメンテーション方法は、パッチベースのモデルを使用します。これは、正確なセグメンテーションに役立つグローバル コンテキスト情報を無視し、推論効率が低くなります。
これらの問題に対処するために、低解像度 (LR) 入力のグローバル情報を使用して HR セグメンテーションを実現できる超解像 (SR) ガイド付きパッチフリー 3D 医用画像セグメンテーション フレームワークを提案します。
フレームワークには、セマンティック セグメンテーション (メイン タスク) と超解像 (補助タスク) の 2 つのタスクが含まれています。
情報損失と LR 入力のバランスをとるために、自己監視ガイダンス モジュール (SGM) を導入します。これは、復元ガイダンスとして元の画像から HR パッチをトリミングする選択的検索方法を採用しています。
HR ガイダンス機能と LR 機能の間のスケールの不一致を軽減するために、マルチスケール畳み込み層が使用されます。
さらに、セグメンテーションと SR タスク間の相互接続を活用するためのタスク フュージョン モジュール (TFM) を提案します。
このモジュールは、テスト フェーズの微調整 (TPF) にも使用でき、モデルの一般化機能が向上します。
予測時には、主要なセグメンテーション タスクのみが必要ですが、他のモジュールを削除して推論を加速することができます。
2 つの異なるデータセットでの実験結果は、私たちのフレームワークが現在のパッチベースおよびパッチなしのモデルよりも優れていることを示しています。
私たちのモデルは、従来のパッチベースの方法と比較して、4 倍高速な推論速度も備えています。
コードは https://github.com/Dootmaan/PFSeg-Full で入手できます。

要約(オリジナル)

High resolution (HR) 3D medical image segmentation plays an important role in clinical diagnoses. However, HR images are difficult to be directly processed by mainstream graphical cards due to limited video memory. Therefore, most existing 3D medical image segmentation methods use patch-based models, which ignores global context information that is useful in accurate segmentation and has low inference efficiency. To address these problems, we propose a super-resolution (SR) guided patch-free 3D medical image segmentation framework that can realize HR segmentation with global information of low-resolution (LR) input. The framework contains two tasks: semantic segmentation (main task) and super resolution (auxiliary task). To balance the information loss with the LR input, we introduce a Self-Supervised Guidance Module (SGM), which employs a selective search method to crop a HR patch from the original image as restoration guidance. Multi-scale convolutional layers are used to mitigate the scale-inconsistency between the HR guidance features and the LR features. Moreover, we propose a Task-Fusion Module (TFM) to exploit the inter connections between segmentation and SR task. This module can also be used for Test Phase Fine-tuning (TPF), leading to a better model generalization ability. When predicting, only the main segmentation task is needed, while other modules can be removed to accelerate the inference. The experiments results on two different datasets show that our framework outperforms current patch-based and patch-free models. Our model also has a four times higher inference speed compared to traditional patch-based methods. Our codes are available at: https://github.com/Dootmaan/PFSeg-Full.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google