Transformers in Medical Image Analysis: A Review

要約

トランスフォーマーは自然言語処理の分野を支配しており、最近ではコンピューター ビジョンの分野にも影響を与えています。
医用画像解析の分野では、トランスフォーマーは、画像の合成/再構成、登録、セグメンテーション、検出、診断など、フルスタックの臨床アプリケーションにもうまく適用されています。
私たちの論文は、医用画像解析の分野でトランスフォーマーの認識と応用を促進することを目的としています。
具体的には、最初に、Transformers およびその他の基本コンポーネントに組み込まれているアテンション メカニズムのコア コンセプトの概要を説明します。
次に、医用画像アプリケーション向けに調整されたさまざまな Transformer アーキテクチャを確認し、それらの制限について説明します。
このレビューでは、さまざまな学習パラダイムでのトランスフォーマーの使用、モデル効率の向上、および他の手法との結合を中心に展開する主要な課題を調査します。
このレビューが、医用画像分析の分野の読者にトランスフォーマーの全体像を与えることができることを願っています.

要約(オリジナル)

Transformers have dominated the field of natural language processing, and recently impacted the computer vision area. In the field of medical image analysis, Transformers have also been successfully applied to full-stack clinical applications, including image synthesis/reconstruction, registration, segmentation, detection, and diagnosis. Our paper aims to promote awareness and application of Transformers in the field of medical image analysis. Specifically, we first overview the core concepts of the attention mechanism built into Transformers and other basic components. Second, we review various Transformer architectures tailored for medical image applications and discuss their limitations. Within this review, we investigate key challenges revolving around the use of Transformers in different learning paradigms, improving the model efficiency, and their coupling with other techniques. We hope this review can give a comprehensive picture of Transformers to the readers in the field of medical image analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google