BrainSegDMlF: A Dynamic Fusion-enhanced SAM for Brain Lesion Segmentation

要約

実質的な脳病変のセグメンテーションは、医療画像セグメンテーションの分野で重要で挑戦的な作業です。
脳イメージングにおける実質的な脳病変は、病変領域と正常な脳組織の間の不明瞭な境界を持つ高い不均一性を示します。
単一スライスの小さな病変を識別することは困難であり、異常な領域の正確で再現可能なセグメンテーション、およびその特徴の説明を非常に複雑にします。
既存の方法には次のような制限があります。1）診断で一般的に使用されるマルチモーダル情報を無視して、学習のために単一モーダル情報のみに依存しています。
これにより、複数の視点から脳病変情報を包括的に取得する能力が妨げられ、マルチモーダルデータ入力の効果的な統合と利用が防止され、それによって病変の全体的な理解が制限されます。
2）利用可能なデータの量によって制約されているため、小さな病変に対する感度が低く、微妙な病理学的変化を検出するのが困難になります。
3）現在のSAMベースのモデルは、自動セグメンテーションを達成できず、ある程度診断効率に影響を与える外部プロンプトに依存しています。これらの問題に対処するために、BrainSegDMLFという名前の脳病変セグメンテーションのために特異的に設計された大規模な完全に自動化されたセグメンテーションモデルを開発しました。
このモデルには、次の機能があります。1）エンコーディングプロセス中にマルチモーダルデータを処理および統合する動的モーダルインタラクティブフュージョン（DMIF）モジュールで、SAMエンコーダーにより包括的なモーダル情報を提供します。
2）レイヤーごとのアップサンプリングデコーダー。モデルが限られたデータを使用しても、豊富な低レベルおよび高レベルの機能を抽出できるようにし、それにより小さな病変の存在を検出できます。
3）自動セグメンテーションマスク。モデルは、手動プロンプトを必要とせずに病変マスクを自動的に生成できるようにします。

要約(オリジナル)

The segmentation of substantial brain lesions is a significant and challenging task in the field of medical image segmentation. Substantial brain lesions in brain imaging exhibit high heterogeneity, with indistinct boundaries between lesion regions and normal brain tissue. Small lesions in single slices are difficult to identify, making the accurate and reproducible segmentation of abnormal regions, as well as their feature description, highly complex. Existing methods have the following limitations: 1) They rely solely on single-modal information for learning, neglecting the multi-modal information commonly used in diagnosis. This hampers the ability to comprehensively acquire brain lesion information from multiple perspectives and prevents the effective integration and utilization of multi-modal data inputs, thereby limiting a holistic understanding of lesions. 2) They are constrained by the amount of data available, leading to low sensitivity to small lesions and difficulty in detecting subtle pathological changes. 3) Current SAM-based models rely on external prompts, which cannot achieve automatic segmentation and, to some extent, affect diagnostic efficiency.To address these issues, we have developed a large-scale fully automated segmentation model specifically designed for brain lesion segmentation, named BrainSegDMLF. This model has the following features: 1) Dynamic Modal Interactive Fusion (DMIF) module that processes and integrates multi-modal data during the encoding process, providing the SAM encoder with more comprehensive modal information. 2) Layer-by-Layer Upsampling Decoder, enabling the model to extract rich low-level and high-level features even with limited data, thereby detecting the presence of small lesions. 3) Automatic segmentation masks, allowing the model to generate lesion masks automatically without requiring manual prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google