Transformer-based Personalized Attention Mechanism for Medical Images with Clinical Records

要約

医用画像診断において、診断対象となる関心領域である注目領域を特定することは重要な課題である。
与えられた医用画像からターゲット領域を自動的に識別するために、さまざまな方法が開発されています。
しかし、実際の医療では、画像だけでなく、さまざまなカルテに基づいて診断が行われます。
これは、病理医が患者に関するある程度の事前知識を持って医用画像を検査し、臨床記録によって注目領域が変わる可能性があることを意味します。
本研究では、個人化された注意メカニズム (PersAM) と呼ばれる方法を提案します。これにより、医用画像の注意領域が臨床記録に従って適応的に変更されます。
PersAM 方式の主なアイデアは、Transformer アーキテクチャの変形を使用して、医用画像と臨床記録の間の関係をエンコードすることです。
PersAM メソッドの有効性を実証するために、ギガピクセルの全スライド画像と臨床記録に基づいて 842 人の悪性リンパ腫患者のサブタイプを識別する大規模なデジタル病理問題に適用しました。

要約(オリジナル)

In medical image diagnosis, identifying the attention region, i.e., the region of interest for which the diagnosis is made, is an important task. Various methods have been developed to automatically identify target regions from given medical images. However, in actual medical practice, the diagnosis is made based not only on the images but also on a variety of clinical records. This means that pathologists examine medical images with some prior knowledge of the patients and that the attention regions may change depending on the clinical records. In this study, we propose a method called the Personalized Attention Mechanism (PersAM), by which the attention regions in medical images are adaptively changed according to the clinical records. The primary idea of the PersAM method is to encode the relationships between the medical images and clinical records using a variant of Transformer architecture. To demonstrate the effectiveness of the PersAM method, we applied it to a large-scale digital pathology problem of identifying the subtypes of 842 malignant lymphoma patients based on their gigapixel whole slide images and clinical records.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google