How GNNs Facilitate CNNs in Mining Geometric Information from Large-Scale Medical Images

要約

ギガピクセルの医用画像は、マイニングされる形態学的テクスチャと空間情報の両方の大量のデータを提供します。
組織学のデータスケールが大きいため、深層学習法は特徴抽出器としてますます重要な役割を果たします。
既存のソリューションは、グローバルなピクセルレベルの分析を畳み込みニューラルネットワーク（CNN）に大きく依存しており、腫瘍微小環境内の細胞間の相互作用など、基礎となる局所的な幾何学的構造を未踏のまま残しています。
腫瘍の進化と密接に関連していることが証明されているように、医用画像のトポロジー構造は、グラフによって十分に特徴付けることができます。
下流の腫瘍学タスクのより包括的な表現を取得するために、グラフニューラルネットワーク（GNN）によって学習されたセルレベルの空間情報のジオメトリを使用して、CNNによってキャプチャされたグローバルな画像レベルの表現を強化するための融合フレームワークを提案します。
融合レイヤーは、グローバル画像とセルグラフのコラボレーション機能間の統合を最適化します。
2つの融合戦略が開発されました。1つはシンプルですが微調整によって効率的になるMLPを使用し、もう1つはTransformerを使用して複数のネットワークを融合することでチャンピオンを獲得します。
3つのバイオマーカー予測タスクのために結腸直腸癌と胃癌の大規模な患者コホートからキュレートされた組織学データセットで融合戦略を評価します。
2つのモデルはどちらもプレーンCNNまたはGNNを上回り、さまざまなネットワークバックボーンで5％を超える一貫したAUCの改善に達します。
実験結果は、医療画像分析において画像レベルの形態学的特徴を細胞の空間的関係と組み合わせる必要性をもたらします。
コードはhttps://github.com/yiqings/HEGnnEnhanceCnnで入手できます。

要約(オリジナル)

Gigapixel medical images provide massive data, both morphological textures and spatial information, to be mined. Due to the large data scale in histology, deep learning methods play an increasingly significant role as feature extractors. Existing solutions heavily rely on convolutional neural networks (CNNs) for global pixel-level analysis, leaving the underlying local geometric structure such as the interaction between cells in the tumor microenvironment unexplored. The topological structure in medical images, as proven to be closely related to tumor evolution, can be well characterized by graphs. To obtain a more comprehensive representation for downstream oncology tasks, we propose a fusion framework for enhancing the global image-level representation captured by CNNs with the geometry of cell-level spatial information learned by graph neural networks (GNN). The fusion layer optimizes an integration between collaborative features of global images and cell graphs. Two fusion strategies have been developed: one with MLP which is simple but turns out efficient through fine-tuning, and the other with Transformer gains a champion in fusing multiple networks. We evaluate our fusion strategies on histology datasets curated from large patient cohorts of colorectal and gastric cancers for three biomarker prediction tasks. Both two models outperform plain CNNs or GNNs, reaching a consistent AUC improvement of more than 5% on various network backbones. The experimental results yield the necessity for combining image-level morphological features with cell spatial relations in medical image analysis. Codes are available at https://github.com/yiqings/HEGnnEnhanceCnn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google