Pathology Report Generation and Multimodal Representation Learning for Cutaneous Melanocytic Lesions

要約

数百万のメラニン細胞皮膚病変が毎年病理学者によって検査されていますが、その大部分は一般的なネビ（すなわち、通常のほくろ）に関係しています。
これらの病変のほとんどは数秒で診断できますが、対応する病理学レポートを書くことは、はるかに時間がかかります。
したがって、レポート作成の一部を自動化することで、病理学者のワークロードが増加する可能性があります。
この作業では、皮膚メラニン細胞性病変の病理学的領域向けに特に視覚言語モデルを開発します。
このモデルは、対照的なキャプションフレームワークに従い、42,512 H＆E染色全体のスライド画像と19,645の対応する病理報告のメラニン細胞性病変データセットを使用して訓練および評価されました。
我々の結果は、モデル生成レポートの品質スコアが、読者研究で専門家の病理学者によって評価された一般的なネビの病理学者が記述したレポートと同等であることを示しています。
レポートの生成は、まれなメラニン細胞病変のサブタイプにとってより困難であることが明らかになったが、これらの症例の交差モーダル検索性能はかなり良くなった。

要約(オリジナル)

Millions of melanocytic skin lesions are examined by pathologists each year, the majority of which concern common nevi (i.e., ordinary moles). While most of these lesions can be diagnosed in seconds, writing the corresponding pathology report is much more time-consuming. Automating part of the report writing could, therefore, alleviate the increasing workload of pathologists. In this work, we develop a vision-language model specifically for the pathology domain of cutaneous melanocytic lesions. The model follows the Contrastive Captioner framework and was trained and evaluated using a melanocytic lesion dataset of 42,512 H&E-stained whole slide images and 19,645 corresponding pathology reports. Our results show that the quality scores of model-generated reports were on par with pathologist-written reports for common nevi, assessed by an expert pathologist in a reader study. While report generation revealed to be more difficult for rare melanocytic lesion subtypes, the cross-modal retrieval performance for these cases was considerably better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google