Robust Tumor Segmentation with Hyperspectral Imaging and Graph Neural Networks

要約

外科的な癌切除中に腫瘍と健康な組織の間の境界をセグメント化することは、大きな課題となります。
近年、ハイパースペクトル イメージング (HSI) と機械学習 (ML) の組み合わせが有望なソリューションとして浮上しています。
ただし、スペクトル領域には広範な情報が含まれるため、ほとんどの ML アプローチでは、空間コンテキストを考慮せずに、主に個々の HSI (スーパー) ピクセル、つまりタイルを分類します。
この論文では、タイルの空間コンテキストを活用して、より堅牢かつスムーズなセグメンテーションを実現する改良された方法論を提案します。
タイルの不規則な形状に対処するために、グラフ ニューラル ネットワーク (GNN) を利用して、隣接する領域全体にコンテキスト情報を伝播します。
グラフ内の各タイルの特徴は、後続の GNN と同時にトレーニングされる畳み込みニューラル ネットワーク (CNN) を使用して抽出されます。
さらに、ローカル画像品質メトリクスを損失関数に組み込んで、トレーニング画像内の低品質領域に対するトレーニング手順の堅牢性を強化します。
我々は、30 人の患者からの 51 枚の HSI 画像からなる臨床 ex vivo データセットを使用して、提案した方法の優位性を実証します。
データセットが限られているにもかかわらず、GNN ベースのモデルはコンテキストに依存しないアプローチを大幅に上回り、これまで見たことのない患者の画像であっても、健康な組織と腫瘍組織を正確に区別します。
さらに、局所的な画質を考慮して慎重に設計された損失関数により、さらなる改善がもたらされることを示します。
私たちの調査結果は、コンテキスト認識型 GNN アルゴリズムが HSI 画像上の腫瘍境界を確実に検出でき、最終的には手術の成功と患者の転帰の向上に貢献できることを示しています。

要約(オリジナル)

Segmenting the boundary between tumor and healthy tissue during surgical cancer resection poses a significant challenge. In recent years, Hyperspectral Imaging (HSI) combined with Machine Learning (ML) has emerged as a promising solution. However, due to the extensive information contained within the spectral domain, most ML approaches primarily classify individual HSI (super-)pixels, or tiles, without taking into account their spatial context. In this paper, we propose an improved methodology that leverages the spatial context of tiles for more robust and smoother segmentation. To address the irregular shapes of tiles, we utilize Graph Neural Networks (GNNs) to propagate context information across neighboring regions. The features for each tile within the graph are extracted using a Convolutional Neural Network (CNN), which is trained simultaneously with the subsequent GNN. Moreover, we incorporate local image quality metrics into the loss function to enhance the training procedure’s robustness against low-quality regions in the training images. We demonstrate the superiority of our proposed method using a clinical ex vivo dataset consisting of 51 HSI images from 30 patients. Despite the limited dataset, the GNN-based model significantly outperforms context-agnostic approaches, accurately distinguishing between healthy and tumor tissues, even in images from previously unseen patients. Furthermore, we show that our carefully designed loss function, accounting for local image quality, results in additional improvements. Our findings demonstrate that context-aware GNN algorithms can robustly find tumor demarcations on HSI images, ultimately contributing to better surgery success and patient outcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google