GNNFormer: A Graph-based Framework for Cytopathology Report Generation

要約

細胞病理学レポートの生成は、病理画像の標準化された検査に必要なステップです。
しかし、詳細なレポートを手作業で作成することは、病理学者にとって大きな負担となります。
効率を改善するために、いくつかの既存の研究では、主に自然画像用に提案されたビジュアルエンコーダーを使用して画像キャプション生成フレームワークを適用することにより、細胞病理学レポートの自動生成が研究されています。
これらの作品の共通の弱点は、細胞間の構造情報を明示的にモデル化していないことです。これは、病理画像の重要な特徴であり、診断を行うための重要な情報を提供します。
この論文では、GNNFormer と呼ばれる新しいグラフベースのフレームワークを提案します。これは、細胞病理学レポート生成のために、グラフ ニューラル ネットワーク (GNN) と Transformer を同じフレームワークにシームレスに統合します。
私たちの知る限り、GNNFormer は、病理画像の細胞間の構造情報を明示的にモデル化する最初のレポート生成方法です。
また、細胞間の構造情報、細胞のきめ細かい形態特徴、および背景特徴を効果的に融合して、高品質のレポートを生成します。
NMI-WSI データセットの実験結果は、GNNFormer が他の最先端のベースラインよりも優れていることを示しています。

要約(オリジナル)

Cytopathology report generation is a necessary step for the standardized examination of pathology images. However, manually writing detailed reports brings heavy workloads for pathologists. To improve efficiency, some existing works have studied automatic generation of cytopathology reports, mainly by applying image caption generation frameworks with visual encoders originally proposed for natural images. A common weakness of these works is that they do not explicitly model the structural information among cells, which is a key feature of pathology images and provides significant information for making diagnoses. In this paper, we propose a novel graph-based framework called GNNFormer, which seamlessly integrates graph neural network (GNN) and Transformer into the same framework, for cytopathology report generation. To the best of our knowledge, GNNFormer is the first report generation method that explicitly models the structural information among cells in pathology images. It also effectively fuses structural information among cells, fine-grained morphology features of cells and background features to generate high-quality reports. Experimental results on the NMI-WSI dataset show that GNNFormer can outperform other state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google