Learnable Weight Initialization for Volumetric Medical Image Segmentation

要約

局所畳み込みと大域的注目の利点を組み合わせたハイブリッドボリューメトリック医用画像セグメンテーションモデルは、最近大きな注目を集めている。主にアーキテクチャの改良に焦点が当てられているが、既存のハイブリッドアプローチのほとんどは、医療データ固有のボリューメトリックな性質を無視するため、その性能を制限する従来のデータに依存しない重み初期化スキームを依然として使用している。この問題に対処するため、我々は学習可能な重み初期化アプローチを提案する。このアプローチは、利用可能な医療トレーニングデータを利用し、提案された自己教師付き目的を通して、文脈的・構造的手がかりを効果的に学習する。我々のアプローチは、どのようなハイブリッドモデルにも簡単に組み込むことができ、外部訓練データを必要としない。多臓器および肺癌のセグメンテーションタスクの実験により、我々のアプローチの有効性が実証され、最先端のセグメンテーション性能が得られた。我々の提案するデータ依存初期化アプローチは、多臓器セグメンテーションタスクにおいて、大規模データセットを用いて事前学習されたSwin-UNETRモデルと比較して、良好な性能を示す。我々のソースコードとモデルはhttps://github.com/ShahinaKK/LWI-VMS。

要約(オリジナル)

Hybrid volumetric medical image segmentation models, combining the advantages of local convolution and global attention, have recently received considerable attention. While mainly focusing on architectural modifications, most existing hybrid approaches still use conventional data-independent weight initialization schemes which restrict their performance due to ignoring the inherent volumetric nature of the medical data. To address this issue, we propose a learnable weight initialization approach that utilizes the available medical training data to effectively learn the contextual and structural cues via the proposed self-supervised objectives. Our approach is easy to integrate into any hybrid model and requires no external training data. Experiments on multi-organ and lung cancer segmentation tasks demonstrate the effectiveness of our approach, leading to state-of-the-art segmentation performance. Our proposed data-dependent initialization approach performs favorably as compared to the Swin-UNETR model pretrained using large-scale datasets on multi-organ segmentation task. Our source code and models are available at: https://github.com/ShahinaKK/LWI-VMS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL