Unlocking Fine-Grained Details with Wavelet-based High-Frequency Enhancement in Transformers

要約

医療画像のセグメンテーションは、診断、治療計画、疾患のモニタリングにおいて重要な役割を果たす重要なタスクです。
医療画像から解剖学的構造と異常を正確にセグメンテーションすることは、さまざまな病気の早期発見と治療に役立ちます。
この論文では、医療画像で正確な密予測を生成するためにセルフ アテンション マップを慎重に再設計することで、Transformer モデルの局所特徴の欠陥に対処します。
この目的を達成するために、最初にウェーブレット変換を適用して、入力特徴マップを低周波数 (LF) と高周波数 (HF) のサブバンドに分解します。
LF セグメントは粗粒度の特徴に関連付けられていますが、HF コンポーネントはテクスチャやエッジ情報などの粒度の細かい特徴を保持します。
次に、効率的な Transformer を使用してセルフ アテンション操作を再定式化し、周波数表現に加えて空間アテンションとコンテキスト アテンションの両方を実行します。
さらに、境界情報の重要性を高めるために、HF コンポーネントの上にガウス ピラミッドを作成することで追加のアテンション マップを課します。
さらに、エンコーダモジュールとデコーダモジュールのステージ間のセマンティックギャップを克服するために、スケール間の依存関係を適応的にモデル化するスキップ接続内のマルチスケールコンテキスト拡張ブロックを提案します。
包括的な実験を通じて、多臓器および皮膚病変のセグメンテーションベンチマークに対する戦略の有効性を実証します。
実装コードは承認され次第利用可能になります。
\href{https://github.com/mindflow-institue/WaveFormer}{GitHub}。

要約(オリジナル)

Medical image segmentation is a critical task that plays a vital role in diagnosis, treatment planning, and disease monitoring. Accurate segmentation of anatomical structures and abnormalities from medical images can aid in the early detection and treatment of various diseases. In this paper, we address the local feature deficiency of the Transformer model by carefully re-designing the self-attention map to produce accurate dense prediction in medical images. To this end, we first apply the wavelet transformation to decompose the input feature map into low-frequency (LF) and high-frequency (HF) subbands. The LF segment is associated with coarse-grained features while the HF components preserve fine-grained features such as texture and edge information. Next, we reformulate the self-attention operation using the efficient Transformer to perform both spatial and context attention on top of the frequency representation. Furthermore, to intensify the importance of the boundary information, we impose an additional attention map by creating a Gaussian pyramid on top of the HF components. Moreover, we propose a multi-scale context enhancement block within skip connections to adaptively model inter-scale dependencies to overcome the semantic gap among stages of the encoder and decoder modules. Throughout comprehensive experiments, we demonstrate the effectiveness of our strategy on multi-organ and skin lesion segmentation benchmarks. The implementation code will be available upon acceptance. \href{https://github.com/mindflow-institue/WaveFormer}{GitHub}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google