TransNorm: Transformer Provides a Strong Spatial Normalization Mechanism for a Deep Segmentation Model

要約

過去数年間、畳み込みニューラルネットワーク（CNN）、特にU-Netは、医用画像処理の時代に普及した技術でした。
具体的には、独創的なU-Netとその代替手段は、さまざまな医療画像セグメンテーションタスクに対処することに成功しています。
ただし、これらのアーキテクチャは、長距離の相互作用や空間依存性を示さないため、本質的に不完全であり、さまざまな形状や構造の医用画像のセグメンテーションでパフォーマンスが大幅に低下します。
シーケンス間予測のために予備的に提案されたトランスフォーマーは、自己注意メカニズムによって支援されたグローバル情報を正確にモデル化するための代理アーキテクチャとして生まれました。
実現可能に設計されているにもかかわらず、画像セグメンテーションの目的で純粋なTransformerを使用すると、不十分な低レベルの機能に起因するローカリゼーション容量が制限される可能性があります。
したがって、一連の研究は、TransformerベースのU-Netの堅牢なバリアントの設計に努めています。
この論文では、トランスフォーマーモジュールを標準のU-Netのエンコーダー接続とスキップ接続の両方に同時に統合する新しいディープセグメンテーションフレームワークであるTrans-Normを提案します。
スキップ接続の適切な設計は、拡張パスと縮小パスの間の機能の融合を支援できるため、正確なセグメンテーションにとって非常に重要である可能性があると主張します。
この点で、Transformerモジュールから空間正規化メカニズムを導出して、スキップ接続パスを適応的に再調整します。
医療画像セグメンテーションの3つの典型的なタスクにわたる広範な実験は、TransNormの有効性を示しています。
コードとトレーニング済みモデルは、https：//github.com/rezazad68/transnormで公開されています。

要約(オリジナル)

In the past few years, convolutional neural networks (CNNs), particularly U-Net, have been the prevailing technique in the medical image processing era. Specifically, the seminal U-Net, as well as its alternatives, have successfully managed to address a wide variety of medical image segmentation tasks. However, these architectures are intrinsically imperfect as they fail to exhibit long-range interactions and spatial dependencies leading to a severe performance drop in the segmentation of medical images with variable shapes and structures. Transformers, preliminary proposed for sequence-to-sequence prediction, have arisen as surrogate architectures to precisely model global information assisted by the self-attention mechanism. Despite being feasibly designed, utilizing a pure Transformer for image segmentation purposes can result in limited localization capacity stemming from inadequate low-level features. Thus, a line of research strives to design robust variants of Transformer-based U-Net. In this paper, we propose Trans-Norm, a novel deep segmentation framework which concomitantly consolidates a Transformer module into both encoder and skip-connections of the standard U-Net. We argue that the expedient design of skip-connections can be crucial for accurate segmentation as it can assist in feature fusion between the expanding and contracting paths. In this respect, we derive a Spatial Normalization mechanism from the Transformer module to adaptively recalibrate the skip connection path. Extensive experiments across three typical tasks for medical image segmentation demonstrate the effectiveness of TransNorm. The codes and trained models are publicly available at https://github.com/rezazad68/transnorm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google