Assessing the Performance of the DINOv2 Self-supervised Learning Vision Transformer Model for the Segmentation of the Left Atrium from MRI Images

要約

術前スキャンからの正確な左心房 (LA) セグメンテーションは、心房細動の診断、治療計画、および外科的介入のサポートにとって非常に重要です。
深層学習モデルは医療画像のセグメンテーションの鍵となりますが、多くの場合、手動で注釈を付けた大量のデータが必要になります。
大規模なデータセットでトレーニングされた基礎モデルはこの依存性を軽減し、転移学習を通じて一般化可能性と堅牢性を強化しました。
MRI を使用した LA セグメンテーションについて、自然画像でトレーニングされた自己教師あり学習ビジョン トランスフォーマーである DINOv2 を探索します。
LA の複雑な解剖学的構造、薄い境界、限られた注釈付きデータの課題により、画像誘導介入前および画像誘導介入中の正確なセグメンテーションが困難になっています。
正確かつ一貫したセグメンテーションを提供する DINOv2 の能力を実証し、エンドツーエンドの微調整で平均 Dice スコア .871 と Jaccard Index .792 を達成しました。
さまざまなデータ サイズと患者数にわたる少数ショット学習を通じて、DINOv2 は常にベースライン モデルを上回るパフォーマンスを発揮します。
これらの結果は、DINOv2 が限られたデータで MRI に効果的に適応し、セグメンテーションの競合ツールとしての可能性を強調し、医用画像処理における幅広い使用を促進していることを示唆しています。

要約(オリジナル)

Accurate left atrium (LA) segmentation from pre-operative scans is crucial for diagnosing atrial fibrillation, treatment planning, and supporting surgical interventions. While deep learning models are key in medical image segmentation, they often require extensive manually annotated data. Foundation models trained on larger datasets have reduced this dependency, enhancing generalizability and robustness through transfer learning. We explore DINOv2, a self-supervised learning vision transformer trained on natural images, for LA segmentation using MRI. The challenges for LA’s complex anatomy, thin boundaries, and limited annotated data make accurate segmentation difficult before & during the image-guided intervention. We demonstrate DINOv2’s ability to provide accurate & consistent segmentation, achieving a mean Dice score of .871 & a Jaccard Index of .792 for end-to-end fine-tuning. Through few-shot learning across various data sizes & patient counts, DINOv2 consistently outperforms baseline models. These results suggest that DINOv2 effectively adapts to MRI with limited data, highlighting its potential as a competitive tool for segmentation & encouraging broader use in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google