Robust Tumor Segmentation with Hyperspectral Imaging and Graph Neural Networks

要約

外科的癌切除中に腫瘍と健康な組織の境界を区別することは、大きな課題をもたらします。
近年、機械学習（ML）と組み合わせたハイパースペクトルイメージング（HSI）が有望なソリューションとして浮上しています。
ただし、スペクトルドメイン内に含まれる広範な情報により、ほとんどのMLアプローチは、主に個々のHSI（スーパー）ピクセルまたはタイルを分類し、空間的コンテキストを考慮せずに分類します。
この論文では、より堅牢でスムーズなセグメンテーションのために、タイルの空間的コンテキストを活用する改善された方法論を提案します。
タイルの不規則な形状に対処するために、グラフニューラルネットワーク（GNN）を利用して、近隣の地域全体でコンテキスト情報を伝播します。
グラフ内の各タイルの特徴は、畳み込みニューラルネットワーク（CNN）を使用して抽出されます。これは、後続のGNNと同時にトレーニングされます。
さらに、トレーニング画像の低品質領域に対するトレーニング手順の堅牢性を高めるために、ローカル画像品質メトリックを損失関数に組み込みます。
30人の患者からの51のHSI画像で構成される臨床ex vivoデータセットを使用して、提案された方法の優位性を実証します。
限られたデータセットにもかかわらず、GNNベースのモデルは、以前に見えなかった患者の画像でさえ、健康な組織と腫瘍組織を正確に区別し、コンテキストと腫瘍のアプローチを大幅に上回ります。
さらに、慎重に設計された損失関数は、ローカルな画像品質を考慮して追加の改善をもたらすことを示しています。
私たちの調査結果は、コンテキストを認識しているGNNアルゴリズムがHSI画像の腫瘍の境界を堅牢に発見し、最終的にはより良い手術の成功と患者の転帰に貢献できることを示しています。

要約(オリジナル)

Segmenting the boundary between tumor and healthy tissue during surgical cancer resection poses a significant challenge. In recent years, Hyperspectral Imaging (HSI) combined with Machine Learning (ML) has emerged as a promising solution. However, due to the extensive information contained within the spectral domain, most ML approaches primarily classify individual HSI (super-)pixels, or tiles, without taking into account their spatial context. In this paper, we propose an improved methodology that leverages the spatial context of tiles for more robust and smoother segmentation. To address the irregular shapes of tiles, we utilize Graph Neural Networks (GNNs) to propagate context information across neighboring regions. The features for each tile within the graph are extracted using a Convolutional Neural Network (CNN), which is trained simultaneously with the subsequent GNN. Moreover, we incorporate local image quality metrics into the loss function to enhance the training procedure’s robustness against low-quality regions in the training images. We demonstrate the superiority of our proposed method using a clinical ex vivo dataset consisting of 51 HSI images from 30 patients. Despite the limited dataset, the GNN-based model significantly outperforms context-agnostic approaches, accurately distinguishing between healthy and tumor tissues, even in images from previously unseen patients. Furthermore, we show that our carefully designed loss function, accounting for local image quality, results in additional improvements. Our findings demonstrate that context-aware GNN algorithms can robustly find tumor demarcations on HSI images, ultimately contributing to better surgery success and patient outcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google