Region Attention Transformer for Medical Image Restoration

要約

トランスフォーマーベースの方法は、空間次元におけるマルチヘッドセルフアテンション (MSA) メカニズムに起因して、医用画像復元において目覚ましい結果を実証しました。
しかし、既存のトランスフォーマーの大部分は、固定された粗く分割された領域 (\text{例} 画像全体または固定パッチ) 内で注意を行うため、無関係な領域からの干渉や連続画像コンテンツの断片化が生じます。
これらの課題を克服するために、領域ベースのマルチヘッド セルフ アテンション メカニズム (R-MSA) を利用する新しい領域アテンション トランスフォーマー (RAT) を導入します。
R-MSA は、堅牢なセグメント何でもモデル (SAM) を使用して、入力画像を重複しないセマンティック領域に動的に分割し、これらの領域内でセルフ アテンションを実行します。
この領域分割はより柔軟で解釈可能であり、同様の意味論的領域のピクセルのみが確実に相互補完するため、無関係な領域からの干渉が排除されます。
さらに、焦点領域の損失を導入して、モデルが高難易度領域の回復に適応的に焦点を当てるように導きます。
広範な実験により、PET 画像合成、CT 画像のノイズ除去、病理学的画像の超解像度など、さまざまな医療画像復元タスクにおける RAT の有効性が実証されています。
コードは \href{https://github.com/Yaziwel/Region-Attendance-Transformer-for-Medical-Image-Restoration.git}{https://github.com/RAT} で入手できます。

要約(オリジナル)

Transformer-based methods have demonstrated impressive results in medical image restoration, attributed to the multi-head self-attention (MSA) mechanism in the spatial dimension. However, the majority of existing Transformers conduct attention within fixed and coarsely partitioned regions (\text{e.g.} the entire image or fixed patches), resulting in interference from irrelevant regions and fragmentation of continuous image content. To overcome these challenges, we introduce a novel Region Attention Transformer (RAT) that utilizes a region-based multi-head self-attention mechanism (R-MSA). The R-MSA dynamically partitions the input image into non-overlapping semantic regions using the robust Segment Anything Model (SAM) and then performs self-attention within these regions. This region partitioning is more flexible and interpretable, ensuring that only pixels from similar semantic regions complement each other, thereby eliminating interference from irrelevant regions. Moreover, we introduce a focal region loss to guide our model to adaptively focus on recovering high-difficulty regions. Extensive experiments demonstrate the effectiveness of RAT in various medical image restoration tasks, including PET image synthesis, CT image denoising, and pathological image super-resolution. Code is available at \href{https://github.com/Yaziwel/Region-Attention-Transformer-for-Medical-Image-Restoration.git}{https://github.com/RAT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google