SeATrans: Learning Segmentation-Assisted diagnosis model via Transformer

要約

臨床的には、病変/組織の正確な注釈により、疾患の診断が大幅に容易になります。
たとえば、眼底画像での視神経乳頭/カップ（OD / OC）のセグメンテーションは緑内障の診断を容易にし、ダーモスコピー画像での皮膚病変のセグメンテーションは黒色腫の診断などに役立ちます。
広範囲の方法により、病変/組織のセグメンテーションも自動化された疾患診断モデルを容易にすることが証明されました。
ただし、既存の方法は、画像内の静的な地域相関しかキャプチャできないという意味で制限されています。
Vision Transformerのグローバルで動的な性質に触発されて、この論文では、セグメンテーションの知識を疾患診断ネットワークに転送するためのセグメンテーション支援診断トランスフォーマー（SeATrans）を提案します。
具体的には、最初に、非対称マルチスケール相互作用戦略を提案して、各単一の低レベル診断機能をマルチスケールセグメンテーション機能と相関させます。
次に、SeAブロックと呼ばれる効果的な戦略を採用して、相関セグメンテーション機能を介して診断機能を活性化します。
セグメンテーションと診断の相互作用をモデル化するために、SeAブロックは最初にエンコーダーを介してセグメンテーション情報に基づいて診断機能を埋め込み、次にデコーダーによって埋め込みを診断機能スペースに転送します。
実験結果は、SeATransがいくつかの疾患診断タスクで最先端（SOTA）のセグメンテーション支援診断方法の広い範囲を超えていることを示しています。

要約(オリジナル)

Clinically, the accurate annotation of lesions/tissues can significantly facilitate the disease diagnosis. For example, the segmentation of optic disc/cup (OD/OC) on fundus image would facilitate the glaucoma diagnosis, the segmentation of skin lesions on dermoscopic images is helpful to the melanoma diagnosis, etc. With the advancement of deep learning techniques, a wide range of methods proved the lesions/tissues segmentation can also facilitate the automated disease diagnosis models. However, existing methods are limited in the sense that they can only capture static regional correlations in the images. Inspired by the global and dynamic nature of Vision Transformer, in this paper, we propose Segmentation-Assisted diagnosis Transformer (SeATrans) to transfer the segmentation knowledge to the disease diagnosis network. Specifically, we first propose an asymmetric multi-scale interaction strategy to correlate each single low-level diagnosis feature with multi-scale segmentation features. Then, an effective strategy called SeA-block is adopted to vitalize diagnosis feature via correlated segmentation features. To model the segmentation-diagnosis interaction, SeA-block first embeds the diagnosis feature based on the segmentation information via the encoder, and then transfers the embedding back to the diagnosis feature space by a decoder. Experimental results demonstrate that SeATrans surpasses a wide range of state-of-the-art (SOTA) segmentation-assisted diagnosis methods on several disease diagnosis tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google