TransFusion: Multi-view Divergent Fusion for Medical Image Segmentation with Transformers

要約

多視点画像からの情報を組み合わせることは、疾患診断のための自動化手法の性能とロバスト性を向上させるために極めて重要である。しかし、多視点画像は非整列であるため、多視点間の相関関係構築やデータ融合は未解決の問題であることがほとんどである。本研究では、畳み込み層と強力な注意メカニズムを用いて、発散するマルチビュー画像情報を融合するTransFusionを発表する。特に、DiFA（Divergent Fusion Attention）モジュールは、異なる画像ビューからの非整列データ間の長距離相関を捉えるという重要な問題に対処し、豊富なクロスビュー文脈モデリングと意味依存マイニングのために提案される。さらに、マルチスケール特徴表現のグローバルな対応関係を収集するために、マルチスケールアテンション(MSA)を提案する。我々はMulti-Disease, Multi-View \& Multi-Center Right Ventricular Segmentation in Cardiac MRI (M&Ms-2) challenge cohortでTransFusionを評価しています。TransFusionは最先端の手法に対して優れた性能を示し、ロバストな医用画像セグメンテーションに向けたマルチビューイメージング統合の新しい展望を切り拓きました。

要約(オリジナル)

Combining information from multi-view images is crucial to improve the performance and robustness of automated methods for disease diagnosis. However, due to the non-alignment characteristics of multi-view images, building correlation and data fusion across views largely remain an open problem. In this study, we present TransFusion, a Transformer-based architecture to merge divergent multi-view imaging information using convolutional layers and powerful attention mechanisms. In particular, the Divergent Fusion Attention (DiFA) module is proposed for rich cross-view context modeling and semantic dependency mining, addressing the critical issue of capturing long-range correlations between unaligned data from different image views. We further propose the Multi-Scale Attention (MSA) to collect global correspondence of multi-scale feature representations. We evaluate TransFusion on the Multi-Disease, Multi-View \& Multi-Center Right Ventricular Segmentation in Cardiac MRI (M\&Ms-2) challenge cohort. TransFusion demonstrates leading performance against the state-of-the-art methods and opens up new perspectives for multi-view imaging integration towards robust medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL