Joint Liver and Hepatic Lesion Segmentation in MRI using a Hybrid CNN with Transformer Layers

要約

肝癌の発生率が年々増加していることから、ディープラーニングを用いた肝臓および肝臓病変のセグメンテーションは、臨床の場で着実に重要性を増してきています。医療画像セグメンテーションの分野で全体的に有望な結果を持つ様々なネットワークの亜種が過去数年にわたり開発に成功している一方で、ほとんどすべてのネットワークが磁気共鳴画像（MRI）の肝病変を正確にセグメント化するという課題に苦戦しています。このため、既存の限界を克服するために、畳み込み型と変形型アーキテクチャの要素を組み合わせるというアイデアが生まれた。この研究では、SWTR-Unetと呼ばれるハイブリッドネットワークを提示し、事前学習済みResNet、トランスフォーマーブロック、および共通のUnetスタイルデコーダパスで構成される。このネットワークは主にシングルモダリティの非造影肝臓MRIに適用され、さらに他のモダリティへの適用性を検証するために、肝臓腫瘍セグメンテーション（LiTS）チャレンジの公開されたコンピュータ断層撮影（CT）データにも追加で適用された。より広範な評価のために、複数の最新鋭のネットワークが実装され、適用されており、直接比較可能であることが保証されている。さらに、本手法のセグメンテーション精度に影響を与える様々な要因を調査するため、相関分析とアブレーション調査を実施した。MRIデータセットでは平均98+-2%の肝臓セグメンテーションと81+-28%の病変セグメンテーション、CTデータセットではそれぞれ97+-2%と79+-25%のDiceスコアにより、提案するSWTR-Unetは肝臓と肝臓病変のセグメンテーションに適したアプローチであり、MRIで最先端の結果、CT画像で競合する精度であることが証明されました。また、肝臓病変のセグメンテーションでは、観察者間のばらつきから、達成されたセグメンテーション精度は、手作業で行われた専門家のセグメンテーションと同程度であることが判明しました。結論として、本手法は臨床現場における貴重な時間とリソースを節約することができる。

要約(オリジナル)

Deep learning-based segmentation of the liver and hepatic lesions therein steadily gains relevance in clinical practice due to the increasing incidence of liver cancer each year. Whereas various network variants with overall promising results in the field of medical image segmentation have been successfully developed over the last years, almost all of them struggle with the challenge of accurately segmenting hepatic lesions in magnetic resonance imaging (MRI). This led to the idea of combining elements of convolutional and transformer-based architectures to overcome the existing limitations. This work presents a hybrid network called SWTR-Unet, consisting of a pretrained ResNet, transformer blocks as well as a common Unet-style decoder path. This network was primarily applied to single-modality non-contrast-enhanced liver MRI and additionally to the publicly available computed tomography (CT) data of the liver tumor segmentation (LiTS) challenge to verify the applicability on other modalities. For a broader evaluation, multiple state-of-the-art networks were implemented and applied, ensuring a direct comparability. Furthermore, correlation analysis and an ablation study were carried out, to investigate various influencing factors on the segmentation accuracy of the presented method. With Dice scores of averaged 98+-2% for liver and 81+-28% lesion segmentation on the MRI dataset and 97+-2% and 79+-25%, respectively on the CT dataset, the proposed SWTR-Unet proved to be a precise approach for liver and hepatic lesion segmentation with state-of-the-art results for MRI and competing accuracy in CT imaging. The achieved segmentation accuracy was found to be on par with manually performed expert segmentations as indicated by inter-observer variabilities for liver lesion segmentation. In conclusion, the presented method could save valuable time and resources in clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL