Complementary Information Mutual Learning for Multimodality Medical Image Segmentation

要約

医療画像の限界と腫瘍信号の多様性により、放射線科医は腫瘍のセグメンテーションと診断に複数のモーダル画像を利用する必要があります。
これは、セグメンテーションにおけるマルチモーダル学習の開発につながります。
ただし、モダリティ間の冗長性により、既存の減算ベースの共同学習方法には、モダリティの重要性の誤った判断、特定のモーダル情報の無視、認知負荷の増加などの課題が生じます。
これらのやっかいな問題により、最終的にはセグメンテーションの精度が低下し、過剰適合のリスクが高まります。
この論文では、モーダル間の冗長情報の悪影響を数学的にモデル化して対処できる、相補的情報相互学習 (CIML) フレームワークについて説明します。
CIML は加算の考え方を採用し、帰納的バイアス駆動のタスク分解とメッセージ パッシング ベースの冗長フィルタリングを通じてモーダル間の冗長情報を削除します。
CIML はまず、専門家の事前知識に基づいてマルチモーダル セグメンテーション タスクを複数のサブタスクに分解し、モダリティ間の情報の依存性を最小限に抑えます。
さらに、CIML では、各モダリティがメッセージ パッシングを通じて追加的に他のモダリティから情報を抽出できるスキームが導入されています。
抽出された情報の非冗長性を達成するために、冗長フィルタリングは、変分情報ボトルネックに触発された補完的な情報学習に変換されます。
相補的情報学習手順は、変分推論とクロスモーダル空間注意によって効率的に解くことができます。
検証タスクと標準ベンチマークの数値結果は、CIML がモダリティ間の冗長な情報を効率的に削除し、検証精度とセグメンテーション効果に関して SOTA 手法を上回っていることを示しています。

要約(オリジナル)

Radiologists must utilize multiple modal images for tumor segmentation and diagnosis due to the limitations of medical imaging and the diversity of tumor signals. This leads to the development of multimodal learning in segmentation. However, the redundancy among modalities creates challenges for existing subtraction-based joint learning methods, such as misjudging the importance of modalities, ignoring specific modal information, and increasing cognitive load. These thorny issues ultimately decrease segmentation accuracy and increase the risk of overfitting. This paper presents the complementary information mutual learning (CIML) framework, which can mathematically model and address the negative impact of inter-modal redundant information. CIML adopts the idea of addition and removes inter-modal redundant information through inductive bias-driven task decomposition and message passing-based redundancy filtering. CIML first decomposes the multimodal segmentation task into multiple subtasks based on expert prior knowledge, minimizing the information dependence between modalities. Furthermore, CIML introduces a scheme in which each modality can extract information from other modalities additively through message passing. To achieve non-redundancy of extracted information, the redundant filtering is transformed into complementary information learning inspired by the variational information bottleneck. The complementary information learning procedure can be efficiently solved by variational inference and cross-modal spatial attention. Numerical results from the verification task and standard benchmarks indicate that CIML efficiently removes redundant information between modalities, outperforming SOTA methods regarding validation accuracy and segmentation effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google