PiPViT: Patch-based Visual Interpretable Prototypes for Retinal Image Analysis

要約

背景と目的：プロトタイプベースの方法は、細粒のパートプロトタイプを学習することにより、解釈性を向上させます。
ただし、入力ピクセル空間での視覚化は、人間の理解可能なバイオマーカーと常に一致するわけではありません。
さらに、よく知られているプロトタイプベースのアプローチは、通常、バイオマーカーと病変の存在と範囲の両方が重要である医療イメージングではあまり解釈できない非常に細いプロトタイプを学習します。
方法：これらの課題に対処するために、画像認識のための本質的に解釈可能なプロトタイプモデルであるPIPVIT（パッチベースの視覚的解釈可能なプロトタイプ）を提案します。
ビジョントランス（VIT）を活用して、PIPVITはパッチ間で長距離依存関係をキャプチャして、画像レベルのラベルを使用してのみ病変範囲を近似する堅牢で人間の解釈可能なプロトタイプを学習します。
さらに、PIPVITは、コントラストの学習と多解像度入力処理の恩恵を受け、スケール全体のバイオマーカーの効果的なローカリゼーションを可能にします。
結果：4つのデータセットで網膜OCT画像分類でPIPVITを評価しました。ここでは、より意味のある説明を提供しながら、最先端の方法と比較して競争力のある定量的パフォーマンスを達成しました。
さらに、ホールドアウトテストセットの定量的評価は、学習したプロトタイプが意味的および臨床的に関連していることを確認しています。
PIPVITは、その決定を透過的に説明し、臨床医が診断結果を理解するのを支援できると考えています。
githubページ：https：//github.com/marziehoghbaie/pipvit

要約(オリジナル)

Background and Objective: Prototype-based methods improve interpretability by learning fine-grained part-prototypes; however, their visualization in the input pixel space is not always consistent with human-understandable biomarkers. In addition, well-known prototype-based approaches typically learn extremely granular prototypes that are less interpretable in medical imaging, where both the presence and extent of biomarkers and lesions are critical. Methods: To address these challenges, we propose PiPViT (Patch-based Visual Interpretable Prototypes), an inherently interpretable prototypical model for image recognition. Leveraging a vision transformer (ViT), PiPViT captures long-range dependencies among patches to learn robust, human-interpretable prototypes that approximate lesion extent only using image-level labels. Additionally, PiPViT benefits from contrastive learning and multi-resolution input processing, which enables effective localization of biomarkers across scales. Results: We evaluated PiPViT on retinal OCT image classification across four datasets, where it achieved competitive quantitative performance compared to state-of-the-art methods while delivering more meaningful explanations. Moreover, quantitative evaluation on a hold-out test set confirms that the learned prototypes are semantically and clinically relevant. We believe PiPViT can transparently explain its decisions and assist clinicians in understanding diagnostic outcomes. Github page: https://github.com/marziehoghbaie/PiPViT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google