Weakly Supervised Segmentation of Hyper-Reflective Foci with Compact Convolutional Transformers and SAM2

要約

弱教師セグメンテーションは、光干渉断層撮影 (OCT) の超反射焦点 (HRF) などの小さな構造のセグメンテーション モデルをトレーニングするためのアノテーションの労力を大幅に削減する可能性があります。
ただし、ほとんどの弱く教師ありの方法は、入力画像の強力なダウンサンプリングを伴うか、粗い解像度でのみ位置特定を達成するかのいずれかであり、どちらも小さな構造では不十分です。
我々は、層ごとの関連性伝播 (LRP) を使用してセグメント何でもモデル (SAM~2) を促すことで従来の注意ベースの複数インスタンス学習 (MIL) アプローチの空間解像度を高め、反復により再現率を高める新しいフレームワークを提案します。
推論。
さらに、MIL をコンパクト畳み込み変換器 (CCT) に置き換えることで、位置エンコーディングが追加され、OCT 画像の異なる領域間の情報交換が可能になり、セグメンテーション精度がさらに大幅に向上することを実証します。

要約(オリジナル)

Weakly supervised segmentation has the potential to greatly reduce the annotation effort for training segmentation models for small structures such as hyper-reflective foci (HRF) in optical coherence tomography (OCT). However, most weakly supervised methods either involve a strong downsampling of input images, or only achieve localization at a coarse resolution, both of which are unsatisfactory for small structures. We propose a novel framework that increases the spatial resolution of a traditional attention-based Multiple Instance Learning (MIL) approach by using Layer-wise Relevance Propagation (LRP) to prompt the Segment Anything Model (SAM~2), and increases recall with iterative inference. Moreover, we demonstrate that replacing MIL with a Compact Convolutional Transformer (CCT), which adds a positional encoding, and permits an exchange of information between different regions of the OCT image, leads to a further and substantial increase in segmentation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google