MUSTANG: Multi-Stain Self-Attention Graph Multiple Instance Learning Pipeline for Histopathology Whole Slide Images

要約

Whole Slide Images (WSI) は、ギガピクセル サイズと多数のアーティファクトの存在により、コンピューター ビジョンのタスクが困難になります。
しかし、それらは患者の診断と層別化にとって貴重なリソースであり、多くの場合、診断タスクのゴールドスタンダードを表します。
実際の臨床データセットは、ラベルが患者レベルで存在し、注釈が不十分またはまったくない、異種 WSI のセットとして提供される傾向があります。
近年、これらの課題に対処するために、弱く監視された注意ベースのマルチインスタンス学習アプローチが開発されてきましたが、長距離依存性と短期依存性の両方を解決できない可能性があります。
ここでは、エンドツーエンドのマルチステイン セルフ アテンション グラフ (MUSTANG) マルチ インスタンス学習パイプラインを提案します。これは、ラベルが患者レベルで割り当てられる、弱く監視されたギガピクセルのマルチ画像分類タスクを解決するように設計されています。
ただし、スライド レベルのラベルや領域の注釈は使用できません。
このパイプラインは、ユークリッド距離に基づいて埋め込まれた WSI パッチの非常にまばらな k 最近傍グラフに操作を制限することにより、セルフ アテンション ベースのアプローチを使用します。
このアプローチが、最先端の F1 スコア/AUC 0.89/0.92 を達成し、広く使用されている CLAM モデルを上回るパフォーマンスを示すことを示します。
私たちのアプローチは高度にモジュール化されており、注釈なしで患者レベルのラベルのみが必要であり、グラフのサイズや構造がさまざまであるため、さまざまなサイズの WSI セットを受け入れるため、さまざまな臨床データセットに合わせて簡単に変更できます。
ソース コードは https://github.com/AmayaGS/MUSTANG にあります。

要約(オリジナル)

Whole Slide Images (WSIs) present a challenging computer vision task due to their gigapixel size and presence of numerous artefacts. Yet they are a valuable resource for patient diagnosis and stratification, often representing the gold standard for diagnostic tasks. Real-world clinical datasets tend to come as sets of heterogeneous WSIs with labels present at the patient-level, with poor to no annotations. Weakly supervised attention-based multiple instance learning approaches have been developed in recent years to address these challenges, but can fail to resolve both long and short-range dependencies. Here we propose an end-to-end multi-stain self-attention graph (MUSTANG) multiple instance learning pipeline, which is designed to solve a weakly-supervised gigapixel multi-image classification task, where the label is assigned at the patient-level, but no slide-level labels or region annotations are available. The pipeline uses a self-attention based approach by restricting the operations to a highly sparse k-Nearest Neighbour Graph of embedded WSI patches based on the Euclidean distance. We show this approach achieves a state-of-the-art F1-score/AUC of 0.89/0.92, outperforming the widely used CLAM model. Our approach is highly modular and can easily be modified to suit different clinical datasets, as it only requires a patient-level label without annotations and accepts WSI sets of different sizes, as the graphs can be of varying sizes and structures. The source code can be found at https://github.com/AmayaGS/MUSTANG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google