MulGT: Multi-task Graph-Transformer with Task-aware Knowledge Injection and Domain Knowledge-driven Pooling for Whole Slide Image Analysis

要約

全スライド画像 (WSI) は、深層学習分野での自動診断を支援するために広く使用されています。
ただし、以前のほとんどの研究では、病理学者が複数の診断タスクを同時に行うことが多い実際の臨床設定とは一致しない単一のタスク設定についてのみ説明しています。
また、マルチタスク学習パラダイムは、複数のタスク間の共通点と相違点を活用することで学習効率を向上させることができることも一般的に認識されています。
この目的のために、タスク認識ナレッジ インジェクションおよびドメイン知識駆動型グラフ プーリング モジュールを備えた特別に設計されたグラフ トランスフォーマーによる WSI 分析用の新しいマルチタスク フレームワーク (つまり、MulGT) を提示します。
基本的に、Graph Neural Network と Transformer をビルディング コモンズとして使用することで、フレームワークは、タスクに依存しない低レベルのローカル情報と、タスク固有の高レベルのグローバル表現を学習できます。
WSI分析のさまざまなタスクがさまざまな機能とプロパティに依存することを考慮して、タスク共有グラフの埋め込みをタスク固有の機能空間に転送して、さまざまなタスクのより正確な表現を学習する新しいタスク認識知識注入モジュールも設計します。
さらに、複数のタスクのさまざまな診断パターンを活用することで、さまざまなタスクの精度と堅牢性の両方を向上させるために、タスクごとに新しいドメイン知識駆動型グラフ プーリング モジュールを精巧に設計します。
TCGA プロジェクトの 2 つの公開 WSI データセット、つまり食道癌と腎臓癌でこの方法を評価しました。
実験結果は、私たちの方法が、腫瘍のタイピングと病期分類の両方のタスクで、単一タスクの対応する方法と最新の方法よりも優れていることを示しています。

要約(オリジナル)

Whole slide image (WSI) has been widely used to assist automated diagnosis under the deep learning fields. However, most previous works only discuss the SINGLE task setting which is not aligned with real clinical setting, where pathologists often conduct multiple diagnosis tasks simultaneously. Also, it is commonly recognized that the multi-task learning paradigm can improve learning efficiency by exploiting commonalities and differences across multiple tasks. To this end, we present a novel multi-task framework (i.e., MulGT) for WSI analysis by the specially designed Graph-Transformer equipped with Task-aware Knowledge Injection and Domain Knowledge-driven Graph Pooling modules. Basically, with the Graph Neural Network and Transformer as the building commons, our framework is able to learn task-agnostic low-level local information as well as task-specific high-level global representation. Considering that different tasks in WSI analysis depend on different features and properties, we also design a novel Task-aware Knowledge Injection module to transfer the task-shared graph embedding into task-specific feature spaces to learn more accurate representation for different tasks. Further, we elaborately design a novel Domain Knowledge-driven Graph Pooling module for each task to improve both the accuracy and robustness of different tasks by leveraging different diagnosis patterns of multiple tasks. We evaluated our method on two public WSI datasets from TCGA projects, i.e., esophageal carcinoma and kidney carcinoma. Experimental results show that our method outperforms single-task counterparts and the state-of-theart methods on both tumor typing and staging tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google