Deep Multimodal Fusion of Data with Heterogeneous Dimensionality via Projective Networks

要約

マルチモーダルイメージングの利用により、多くの疾患の診断と治療が大幅に改善されている。臨床と同様に、ディープラーニングベースの手法を用いた自動セグメンテーションと分類のためのマルチモダルフュージョンの利点を実証した研究もある。しかしながら、現在のセグメンテーション手法は、同じ次元性（例えば、3D+3D、2D+2D）を持つモダリティの融合に限定されており、これは必ずしも可能ではなく、また、分類手法によって実装される融合戦略は、ローカリゼーションタスクとは相容れない。本研究では、異種次元（例えば3D+2D）のマルチモーダルデータのフュージョンのための、ローカリゼーションタスクと互換性のある、新しいディープラーニングベースのフレームワークを提案する。提案するフレームワークは、異なるモダリティの特徴を抽出し、それらを共通の特徴部分空間に投影する。そして、投影された特徴を融合し、さらに処理することで、最終的な予測を得る。加齢黄斑変性の後期症状である地理的萎縮（GA）のセグメンテーションと、マルチモーダル網膜画像における網膜血管（RBV）のセグメンテーション。その結果、提案手法は、GAとRBVのセグメンテーションにおいて、それぞれ最大3.10%と4.64%のDiceで、最先端のモノモーダル手法を凌駕することが示された。

要約(オリジナル)

The use of multimodal imaging has led to significant improvements in the diagnosis and treatment of many diseases. Similar to clinical practice, some works have demonstrated the benefits of multimodal fusion for automatic segmentation and classification using deep learning-based methods. However, current segmentation methods are limited to fusion of modalities with the same dimensionality (e.g., 3D+3D, 2D+2D), which is not always possible, and the fusion strategies implemented by classification methods are incompatible with localization tasks. In this work, we propose a novel deep learning-based framework for the fusion of multimodal data with heterogeneous dimensionality (e.g., 3D+2D) that is compatible with localization tasks. The proposed framework extracts the features of the different modalities and projects them into the common feature subspace. The projected features are then fused and further processed to obtain the final prediction. The framework was validated on the following tasks: segmentation of geographic atrophy (GA), a late-stage manifestation of age-related macular degeneration, and segmentation of retinal blood vessels (RBV) in multimodal retinal imaging. Our results show that the proposed method outperforms the state-of-the-art monomodal methods on GA and RBV segmentation by up to 3.10% and 4.64% Dice, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL