Transformers in Medical Image Analysis: A Review

要約

トランスフォーマーは自然言語処理の分野を席巻し、最近ではコンピュータビジョン分野にも影響を及ぼしている。医療画像解析の分野においても、画像合成・再構成、レジストレーション、セグメンテーション、検出、診断など、フルスタックの臨床応用に成功し、トランスフォーマーの応用が進んでいる。本論文は、医用画像解析の分野におけるトランスフォーマーの認知度向上と応用を促進することを目的としている。具体的には、まず、Transformerに組み込まれた注意メカニズムのコアコンセプトとその他の基本コンポーネントを概説する。次に、医療画像アプリケーションのために調整された様々なトランスフォーマーアーキテクチャをレビューし、その限界について議論する。このレビューの中で、我々は異なる学習パラダイムにおけるトランスフォーマーの使用、モデル効率の改善、および他の技術との結合に関連する主要な課題を調査している。我々は、このレビューが医用画像解析分野の読者にトランスフォーマーの包括的なイメージを与えることができればと願っている。

要約(オリジナル)

Transformers have dominated the field of natural language processing, and recently impacted the computer vision area. In the field of medical image analysis, Transformers have also been successfully applied to full-stack clinical applications, including image synthesis/reconstruction, registration, segmentation, detection, and diagnosis. Our paper aims to promote awareness and application of Transformers in the field of medical image analysis. Specifically, we first overview the core concepts of the attention mechanism built into Transformers and other basic components. Second, we review various Transformer architectures tailored for medical image applications and discuss their limitations. Within this review, we investigate key challenges revolving around the use of Transformers in different learning paradigms, improving the model efficiency, and their coupling with other techniques. We hope this review can give a comprehensive picture of Transformers to the readers in the field of medical image analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL