MicroMIL: Graph-based Contextual Multiple Instance Learning for Patient Diagnosis Using Microscopy Images

要約

現在の組織病理学研究は主に、弱教師付きマルチインスタンス学習 (MIL) を備えたスキャナーによって生成されたスライド全体画像 (WSI) の使用に焦点を当てています。
ただし、WSI はコストが高く、メモリを大量に消費し、膨大な分析時間を必要とします。
代替手段として、顕微鏡ベースの分析はコストとメモリ効率を提供しますが、顕微鏡画像は未知の絶対位置と、病理学者の主観的な観点からの複数のキャプチャによる冗長な画像の問題に直面します。
この目的を達成するために、ディープ クラスター エンベディング (DCE) と代表的な画像抽出のための Gumbel Softmax を使用して画像を動的にクラスタリングすることで、これらの課題に対処するために特別に構築された弱監視 MIL フレームワークである MicroMIL を導入します。
次に、上三角類似度マトリックスからグラフ エッジが構築され、ノードが最も類似した近傍に接続され、グラフ ニューラル ネットワーク (GNN) を利用して、ローカルで多様な領域のコンテキスト情報がキャプチャされます。
絶対位置を必要とする WSI 用に設計された既存のグラフベースの MIL メソッドとは異なり、MicroMIL はその必要なしにグラフのエッジを効率的に処理します。
実際の結腸がん (Seegene) および公開されている BreakHis データセットに関する広範な評価により、MicroMIL が最先端 (SOTA) 手法を上回り、顕微鏡画像を使用した患者診断のための堅牢で効率的なソリューションを提供することが実証されました。
コードは https://anonymous.4open.science/r/MicroMIL-6C7C で入手できます。

要約(オリジナル)

Current histopathology research has primarily focused on using whole-slide images (WSIs) produced by scanners with weakly-supervised multiple instance learning (MIL). However, WSIs are costly, memory-intensive, and require extensive analysis time. As an alternative, microscopy-based analysis offers cost and memory efficiency, though microscopy images face issues with unknown absolute positions and redundant images due to multiple captures from the subjective perspectives of pathologists. To this end, we introduce MicroMIL, a weakly-supervised MIL framework specifically built to address these challenges by dynamically clustering images using deep cluster embedding (DCE) and Gumbel Softmax for representative image extraction. Graph edges are then constructed from the upper triangular similarity matrix, with nodes connected to their most similar neighbors, and a graph neural network (GNN) is utilized to capture local and diverse areas of contextual information. Unlike existing graph-based MIL methods designed for WSIs that require absolute positions, MicroMIL efficiently handles the graph edges without this need. Extensive evaluations on real-world colon cancer (Seegene) and public BreakHis datasets demonstrate that MicroMIL outperforms state-of-the-art (SOTA) methods, offering a robust and efficient solution for patient diagnosis using microscopy images. The code is available at https://anonymous.4open.science/r/MicroMIL-6C7C

arxiv情報

提供元, 利用サービス

arxiv.jp, Google