TAFM-Net: A Novel Approach to Skin Lesion Segmentation Using Transformer Attention and Focal Modulation

要約

最新のコンピュータ ビジョン技術を臨床プロトコルに組み込むことにより、皮膚病変のセグメンテーションの改善が期待できます。
U-Net アーキテクチャは、この分野の重要なモデルであり、さまざまな臨床設定、照明、患者の属性、毛髪密度による皮膚科画像の不均一性から生じる課題に対処するために繰り返し改良されてきました。
皮膚病変のセグメンテーションをさらに改善するために、自己適応トランスフォーマー アテンション (TA) と焦点変調 (FM) を組み合わせた革新的なモデルである TAFM-Net を開発しました。
私たちのモデルには EfficientNetV2B1 エンコーダが統合されており、TA を使用して空間およびチャネル関連の顕著性を強化します。一方、高密度接続デコーダはスキップ接続内で FM を統合し、医用画像解析に重要な特徴の強調、セグメンテーションのパフォーマンス、および解釈可能性を強化します。
新しい動的損失関数は領域と境界情報を融合し、効果的なモデル トレーニングを導きます。
私たちのモデルは、ISIC2016、ISIC2017、ISIC2018 データセットにおける Jaccard 係数がそれぞれ 93.64\%、86.88\%、92.88\% という競争力のあるパフォーマンスを達成しており、現実世界のシナリオでの可能性を実証しています。

要約(オリジナル)

Incorporating modern computer vision techniques into clinical protocols shows promise in improving skin lesion segmentation. The U-Net architecture has been a key model in this area, iteratively improved to address challenges arising from the heterogeneity of dermatologic images due to varying clinical settings, lighting, patient attributes, and hair density. To further improve skin lesion segmentation, we developed TAFM-Net, an innovative model leveraging self-adaptive transformer attention (TA) coupled with focal modulation (FM). Our model integrates an EfficientNetV2B1 encoder, which employs TA to enhance spatial and channel-related saliency, while a densely connected decoder integrates FM within skip connections, enhancing feature emphasis, segmentation performance, and interpretability crucial for medical image analysis. A novel dynamic loss function amalgamates region and boundary information, guiding effective model training. Our model achieves competitive performance, with Jaccard coefficients of 93.64\%, 86.88\% and 92.88\% in the ISIC2016, ISIC2017 and ISIC2018 datasets, respectively, demonstrating its potential in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google