Advancing Deformable Medical Image Registration with Multi-axis Cross-covariance Attention

要約

変形可能な画像の位置合わせは、医用画像解析の基本的な要件です。
最近、トランスフォーマーは、自己注意 (SA) を介して長距離の依存関係をキャプチャする機能により、深層学習ベースの登録方法で広く使用されています。
ただし、SA の高い計算負荷とメモリ負荷 (空間解像度に応じて二次関数的に増大する) により、トランスフォーマーが高解像度の画像特徴 (たとえば、フル画像解像度やハーフ画像解像度) の微妙なテクスチャ情報を処理することが妨げられます。
高解像度のテクスチャ情報は、微妙な解剖学的構造間の正確なピクセル単位の対応を見つけるために重要であるため、これにより、変形可能な位置合わせが制限されます。
クロス共分散アテンション (XCA) は、特徴チャネル全体で動作する SA の「転置」バージョンとして、空間解像度に応じて直線的に複雑さが増大し、高解像度画像特徴間の長距離依存性を捕捉する実現可能性を提供します。
しかし、既存の XCA ベースの変換器は、粗いグローバルな長距離依存関係を捕捉するだけであり、主にきめの細かいローカル対応に依存する変形可能な画像レジストレーションには適していません。
この研究では、新しい XCA メカニズムを組み込むことによって、既存の深層学習ベースの登録方法を改善することを提案します。
この目的を達成するために、変形可能な医用画像レジストレーション用に最適化された、Multi-Axis XCA (MAXCA) という名前の XCA ベースの変換ブロックを設計します。
MAXCA は、さまざまな登録ネットワーク アーキテクチャに組み込むことができる一般的なネットワーク ブロックとして機能します。
多軸設計により局所的および拡張 XCA を並行して適用することで、高解像度画像特徴間のグローバルとローカルの両方の長距離依存関係をキャプチャできます。
7 つの公開医療データセットを使用した 2 つの適切にベンチマークされた患者間/患者内登録タスクに関する広範な実験により、MAXCA ブロックが最先端の登録パフォーマンスを可能にすることが実証されました。

要約(オリジナル)

Deformable image registration is a fundamental requirement for medical image analysis. Recently, transformers have been widely used in deep learning-based registration methods for their ability to capture long-range dependency via self-attention (SA). However, the high computation and memory loads of SA (growing quadratically with the spatial resolution) hinder transformers from processing subtle textural information in high-resolution image features, e.g., at the full and half image resolutions. This limits deformable registration as the high-resolution textural information is crucial for finding precise pixel-wise correspondence between subtle anatomical structures. Cross-covariance Attention (XCA), as a ‘transposed’ version of SA that operates across feature channels, has complexity growing linearly with the spatial resolution, providing the feasibility of capturing long-range dependency among high-resolution image features. However, existing XCA-based transformers merely capture coarse global long-range dependency, which are unsuitable for deformable image registration relying primarily on fine-grained local correspondence. In this study, we propose to improve existing deep learning-based registration methods by embedding a new XCA mechanism. To this end, we design an XCA-based transformer block optimized for deformable medical image registration, named Multi-Axis XCA (MAXCA). Our MAXCA serves as a general network block that can be embedded into various registration network architectures. It can capture both global and local long-range dependency among high-resolution image features by applying regional and dilated XCA in parallel via a multi-axis design. Extensive experiments on two well-benchmarked inter-/intra-patient registration tasks with seven public medical datasets demonstrate that our MAXCA block enables state-of-the-art registration performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google