HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction

要約

組織病理学は癌診断のゴールドスタンダードとして機能し、臨床報告はこのプロセスを解釈して理解し、癌治療と患者ケアの指針となる上で不可欠です。
ディープラーニングによる病理組織レポート作成の自動化により、臨床効率が大幅に向上し、レポート作成における病理医の多大な労力と時間のかかる負担が軽減されます。
この進歩を追求するために、評価用の最初のベンチマーク データセットとともに、組織病理学レポート生成用のマルチ インスタンス学習機能を備えたフレームワークである HistGen を導入します。
診断およびレポート作成のワークフローからインスピレーションを得た HistGen は、2 つの繊細に設計されたモジュールを備えており、スライド画像 (WSI) 全体と診断レポートをローカルおよびグローバルな粒度で調整することでレポート生成を促進することを目的としています。
これを達成するために、領域からスライドへの観点から効率的に視覚特徴を集約するためのローカル-グローバル階層エンコーダーが開発されています。
一方、クロスモーダルコンテキストモジュールは、異なるモダリティ間の調整と相互作用を明示的に促進し、WSIの広範な視覚シーケンスと対応する高度に要約されたレポートの間のギャップを効果的に埋めるために提案されています。
WSI レポート生成に関する実験結果は、提案されたモデルが最先端 (SOTA) モデルを大幅に上回っていることを示しています。
さらに、がんのサブタイピングおよび生存分析タスクに関するモデルを微調整した結果は、SOTA 手法と比較して優れたパフォーマンスをさらに実証し、強力な転移学習機能を示しています。
データセット、モデルの重み、ソース コードは https://github.com/dddavid4real/HistGen で入手できます。

要約(オリジナル)

Histopathology serves as the gold standard in cancer diagnosis, with clinical reports being vital in interpreting and understanding this process, guiding cancer treatment and patient care. The automation of histopathology report generation with deep learning stands to significantly enhance clinical efficiency and lessen the labor-intensive, time-consuming burden on pathologists in report writing. In pursuit of this advancement, we introduce HistGen, a multiple instance learning-empowered framework for histopathology report generation together with the first benchmark dataset for evaluation. Inspired by diagnostic and report-writing workflows, HistGen features two delicately designed modules, aiming to boost report generation by aligning whole slide images (WSIs) and diagnostic reports from local and global granularity. To achieve this, a local-global hierarchical encoder is developed for efficient visual feature aggregation from a region-to-slide perspective. Meanwhile, a cross-modal context module is proposed to explicitly facilitate alignment and interaction between distinct modalities, effectively bridging the gap between the extensive visual sequences of WSIs and corresponding highly summarized reports. Experimental results on WSI report generation show the proposed model outperforms state-of-the-art (SOTA) models by a large margin. Moreover, the results of fine-tuning our model on cancer subtyping and survival analysis tasks further demonstrate superior performance compared to SOTA methods, showcasing strong transfer learning capability. Dataset, model weights, and source code are available in https://github.com/dddavid4real/HistGen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google