Skin Lesion Segmentation Improved by Transformer-based Networks with Inter-scale Dependency Modeling

要約

黒色腫は、皮膚細胞の異常な増殖によって生じる危険な種類の皮膚がんであり、早期に検出できれば治療が可能です。
完全畳み込みネットワーク (FCN) を使用したさまざまなアプローチが提案されており、皮膚病変の自動セグメンテーションによる診断を支援する U-Net アーキテクチャが顕著です。
ただし、対称 U-Net モデルは畳み込み演算に依存しているため、医療画像の正確なセグメンテーションに不可欠な長距離依存関係をキャプチャする能力が妨げられます。
最近、CNN ブロックをさまざまな Transformer モジュールに置き換えてローカル表現とグローバル表現をキャプチャすることで、この制限を克服するために、いくつかの Transformer ベースの U-Net トポロジが作成されました。
さらに、U 字型の構造は、エンコーダとデコーダの間の意味上のギャップによって妨げられます。
この研究では、スキップ接続パスを慎重に構築することで、ネットワークの機能の再利用性を高めることを目的としています。
すでに計算されたアテンション アフィニティをスキップ接続パス内に統合することにより、従来のスキップ接続パスで利用される典型的な連結プロセスが改善されます。
その結果、皮膚病変セグメンテーションのための U 字型の階層型 Transformer ベースの構造と、エンコーダの各ステージでの注意相関を使用して各ステージからのコンテキストを適応的に組み合わせて緩和するスケール間コンテキスト融合 (ISCF) 手法を提案します。
意味上のギャップ。
2 つの皮膚病変セグメンテーション ベンチマークから得られた結果は、ISCF モジュールの適用性と有効性を裏付けています。
コードは \url{https://github.com/saniaesk/skin-lesion-segmentation} で公開されています。

要約(オリジナル)

Melanoma, a dangerous type of skin cancer resulting from abnormal skin cell growth, can be treated if detected early. Various approaches using Fully Convolutional Networks (FCNs) have been proposed, with the U-Net architecture being prominent To aid in its diagnosis through automatic skin lesion segmentation. However, the symmetrical U-Net model’s reliance on convolutional operations hinders its ability to capture long-range dependencies crucial for accurate medical image segmentation. Several Transformer-based U-Net topologies have recently been created to overcome this limitation by replacing CNN blocks with different Transformer modules to capture local and global representations. Furthermore, the U-shaped structure is hampered by semantic gaps between the encoder and decoder. This study intends to increase the network’s feature re-usability by carefully building the skip connection path. Integrating an already calculated attention affinity within the skip connection path improves the typical concatenation process utilized in the conventional skip connection path. As a result, we propose a U-shaped hierarchical Transformer-based structure for skin lesion segmentation and an Inter-scale Context Fusion (ISCF) method that uses attention correlations in each stage of the encoder to adaptively combine the contexts from each stage to mitigate semantic gaps. The findings from two skin lesion segmentation benchmarks support the ISCF module’s applicability and effectiveness. The code is publicly available at \url{https://github.com/saniaesk/skin-lesion-segmentation}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google