Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images

要約

広く入手可能なヘマトキシリン・エオシン（HE）染色全スライド画像（WSI）からヒト上皮成長因子受容体 2（HER2）の状態を直接予測することで、技術コストを削減し、治療選択を迅速化できます。
HER2 を正確に予測するには、マルチサイト WSI の大規模なコレクションが必要です。
フェデレーション ラーニングにより、ギガバイト サイズの WSI の転送やデータ プライバシーの問題を引き起こすことなく、これらの WSI の共同トレーニングが可能になります。
ただし、フェデレーテッド ラーニングは、現実世界のマルチサイト WSI におけるラベルの不均衡に対処する際に課題に直面します。
さらに、既存の WSI 分類方法では、フェデレーテッド ラーニングのサイトエンド特徴表現におけるローカル コンテキスト情報と長距離依存関係を同時に利用することはできません。
これらの問題に対処するために、HE 染色 WSI からのマルチサイト HER2 状態予測のための連合学習を備えたポイント トランスフォーマーを紹介します。
私たちのアプローチには 2 つの新しい設計が組み込まれています。
動的ラベル配布戦略と補助分類子を提案します。これは、適切に初期化されたモデルを確立し、サイト間でのラベル配布の変動を軽減するのに役立ちます。
さらに、コサイン距離に基づいて最も遠いコサイン サンプリングを提案します。
最も特徴的な機能をサンプリングし、長期的な依存関係をキャプチャできます。
広範な実験と分析により、私たちの方法が 4 つのサイト、合計 2687 の WSI で最先端のパフォーマンスを達成できることがわかりました。
さらに、モデルが 229 個の WSI を持つ 2 つの目に見えないサイトに一般化できることを示します。

要約(オリジナル)

Directly predicting human epidermal growth factor receptor 2 (HER2) status from widely available hematoxylin and eosin (HE)-stained whole slide images (WSIs) can reduce technical costs and expedite treatment selection. Accurately predicting HER2 requires large collections of multi-site WSIs. Federated learning enables collaborative training of these WSIs without gigabyte-size WSIs transportation and data privacy concerns. However, federated learning encounters challenges in addressing label imbalance in multi-site WSIs from the real world. Moreover, existing WSI classification methods cannot simultaneously exploit local context information and long-range dependencies in the site-end feature representation of federated learning. To address these issues, we present a point transformer with federated learning for multi-site HER2 status prediction from HE-stained WSIs. Our approach incorporates two novel designs. We propose a dynamic label distribution strategy and an auxiliary classifier, which helps to establish a well-initialized model and mitigate label distribution variations across sites. Additionally, we propose a farthest cosine sampling based on cosine distance. It can sample the most distinctive features and capture the long-range dependencies. Extensive experiments and analysis show that our method achieves state-of-the-art performance at four sites with a total of 2687 WSIs. Furthermore, we demonstrate that our model can generalize to two unseen sites with 229 WSIs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google