Parameter-efficient Fine-tuning for improved Convolutional Baseline for Brain Tumor Segmentation in Sub-Saharan Africa Adult Glioma Dataset

要約

深層学習手法を使用して脳腫瘍のセグメンテーションを自動化することは、医療画像処理における継続的な課題です。
ドメイン シフトや低リソース環境でのアプリケーションなど、複数の問題が依然として存在しており、データ不足などの特有の課題が生じています。
これらの特定の問題を解決するためのステップとして、畳み込みアダプターにインスピレーションを得た MedNeXt アーキテクチャのパラメーター効率の良い微調整 (PEFT) を提案します。
私たちのアイデアを検証するために、BraTS-2021 を事前トレーニング データセットとして、BraTS-Africa を微調整データセットとして使用し、トレーニング コンピューティングの削減という追加の利点を備えた、完全な微調整と同等の方法を実行することを示します。
BraTS-Africa は、BraTS-2021 (1251 のトレーニング サンプル) と比較して MRI の品質が顕著に変化している、サハラ以南のアフリカの人口からの小規模なデータセット (60 トレーニング / 35 検証) で構成されています。
まず、BraTS-2021 データセットでトレーニングされたモデルが BraTS-Africa 検証サンプルの平均サイコロの 20% 減少で示されるように、BraTS-Africa にうまく一般化できないことを示します。
次に、PEFT が BraTS-2021 と BraTS-Africa データセットの両方を活用して、BraTS-Africa のみでトレーニングした場合の平均サイコロが 0.72 であるのに対し、0.8 を取得できることを示します。
最後に、PEFT (平均サイコロ 0.80) が完全な微調整 (平均サイコロ 0.77) と同等のパフォーマンスをもたらすことを示します。これは、PEFT が平均で優れていることを示している可能性がありますが、箱ひげ図は、完全な微調整の結果の方がパフォーマンスのばらつきがはるかに小さいことを示しています。
それにもかかわらず、ダイス メトリクスを分解すると、比較的低い感度 (0.75) と比較して高い特異性 (0.99) で示されるように、モデルが過剰セグメント化する傾向があることがわかります。
ソース コードは https://github.com/CAMERA-MRI/SPARK2024/tree/main/PEFT_MedNeXt で入手できます。

要約(オリジナル)

Automating brain tumor segmentation using deep learning methods is an ongoing challenge in medical imaging. Multiple lingering issues exist including domain-shift and applications in low-resource settings which brings a unique set of challenges including scarcity of data. As a step towards solving these specific problems, we propose Convolutional adapter-inspired Parameter-efficient Fine-tuning (PEFT) of MedNeXt architecture. To validate our idea, we show our method performs comparable to full fine-tuning with the added benefit of reduced training compute using BraTS-2021 as pre-training dataset and BraTS-Africa as the fine-tuning dataset. BraTS-Africa consists of a small dataset (60 train / 35 validation) from the Sub-Saharan African population with marked shift in the MRI quality compared to BraTS-2021 (1251 train samples). We first show that models trained on BraTS-2021 dataset do not generalize well to BraTS-Africa as shown by 20% reduction in mean dice on BraTS-Africa validation samples. Then, we show that PEFT can leverage both the BraTS-2021 and BraTS-Africa dataset to obtain mean dice of 0.8 compared to 0.72 when trained only on BraTS-Africa. Finally, We show that PEFT (0.80 mean dice) results in comparable performance to full fine-tuning (0.77 mean dice) which may show PEFT to be better on average but the boxplots show that full finetuning results is much lesser variance in performance. Nevertheless, on disaggregation of the dice metrics, we find that the model has tendency to oversegment as shown by high specificity (0.99) compared to relatively low sensitivity(0.75). The source code is available at https://github.com/CAMERA-MRI/SPARK2024/tree/main/PEFT_MedNeXt

arxiv情報

提供元, 利用サービス

arxiv.jp, Google