Cell Graph Transformer for Nuclei Classification

要約

核の分類は、病理組織画像を使用したコンピューター支援診断における重要なステップです。
これまで、さまざまな方法でグラフ ニューラル ネットワーク (GNN) が使用され、核を頂点と見なしてセル間の関係をモデル化するセル グラフが分析されてきました。
ただし、これらは、固定エッジを介してローカル ノード間でのみメッセージを渡す GNN メカニズムによって制限されます。
この問題に対処するために、ノードとエッジを入力トークンとして扱い、学習可能な隣接関係とすべてのノード間の情報交換を可能にするセル グラフ トランスフォーマー (CGT) を開発しました。
それにもかかわらず、セル グラフを使用してトランスフォーマーをトレーニングするには、別の課題が生じます。
初期化が不十分な特徴は、特に多数の接続を持つセル グラフを処理する場合に、ノイズの多い自己注意スコアや収束の低下につながる可能性があります。
したがって、グラフ畳み込みネットワーク (GCN) を利用して特徴抽出器を学習する、新しいトポロジー対応の事前トレーニング方法をさらに提案します。
事前トレーニングされた特徴により不当な相関が抑制されるため、CGT の微調整が容易になります。
実験結果は、トポロジーを意識した事前トレーニングを備えた提案されたセル グラフ トランスフォーマーが核分類結果を大幅に改善し、最先端のパフォーマンスを達成することを示唆しています。
コードとモデルは https://github.com/lhaof/CGT で入手できます。

要約(オリジナル)

Nuclei classification is a critical step in computer-aided diagnosis with histopathology images. In the past, various methods have employed graph neural networks (GNN) to analyze cell graphs that model inter-cell relationships by considering nuclei as vertices. However, they are limited by the GNN mechanism that only passes messages among local nodes via fixed edges. To address the issue, we develop a cell graph transformer (CGT) that treats nodes and edges as input tokens to enable learnable adjacency and information exchange among all nodes. Nevertheless, training the transformer with a cell graph presents another challenge. Poorly initialized features can lead to noisy self-attention scores and inferior convergence, particularly when processing the cell graphs with numerous connections. Thus, we further propose a novel topology-aware pretraining method that leverages a graph convolutional network (GCN) to learn a feature extractor. The pre-trained features may suppress unreasonable correlations and hence ease the finetuning of CGT. Experimental results suggest that the proposed cell graph transformer with topology-aware pretraining significantly improves the nuclei classification results, and achieves the state-of-the-art performance. Code and models are available at https://github.com/lhaof/CGT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google