Transformer-based Personalized Attention Mechanism (PersAM) for Medical Images with Clinical Records

要約

医用画像診断において、注目領域、すなわち、診断の対象となる関心領域の特定は重要な課題である。与えられた医用画像から自動的に対象領域を特定する方法は、これまでにも様々なものが開発されている。しかし、実際の医療現場では、画像だけでなく、様々な臨床記録に基づいて診断が行われる。つまり、病理医は患者についてある程度の予備知識を持って医用画像を診ることになり、臨床記録によって注目する部位が変わる可能性がある。本研究では、医療画像中の注目領域を臨床記録に応じて適応的に変化させるPersonalized Attention Mechanism (PersAM)と呼ばれる手法を提案する。PersAMの基本的な考え方は、Transformerの変形を用いて医用画像と臨床記録の関係を符号化することである。本手法の有効性を実証するために、842人の悪性リンパ腫患者のギガピクセル全スライド画像と臨床記録からサブタイプを特定するという大規模デジタル病理学問題に本手法を適用した。

要約(オリジナル)

In medical image diagnosis, identifying the attention region, i.e., the region of interest for which the diagnosis is made, is an important task. Various methods have been developed to automatically identify target regions from given medical images. However, in actual medical practice, the diagnosis is made based not only on the images but also on a variety of clinical records. This means that pathologists examine medical images with some prior knowledge of the patients and that the attention regions may change depending on the clinical records. In this study, we propose a method called the Personalized Attention Mechanism (PersAM), by which the attention regions in medical images are adaptively changed according to the clinical records. The primary idea of the PersAM method is to encode the relationships between the medical images and clinical records using a variant of Transformer architecture. To demonstrate the effectiveness of the PersAM method, we applied it to a large-scale digital pathology problem of identifying the subtypes of 842 malignant lymphoma patients based on their gigapixel whole slide images and clinical records.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL