Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

要約

ディープラーニングの最新の技術的進歩であるTransformerは、自然言語処理またはコンピュータービジョンで普及しています。
医用画像はコンピュータビジョンにいくらか似ているので、医用画像におけるトランスフォーマーの現状について質問し、質問するのは自然なことです。トランスフォーマーモデルは医用画像を変換できるのでしょうか。
本稿では、お問い合わせへの回答を心がけております。
特に畳み込みニューラルネットワーク（CNN）と比較して、トランスフォーマーの基本を簡単に紹介し、トランスフォーマーを特徴付ける主要な定義プロパティを強調した後、トランスフォーマーベースの最先端のアプローチの包括的なレビューを提供します。
医用画像と、医用画像のセグメンテーション、認識、検出、登録、再構成、拡張などの分野で行われた現在の研究の進歩を展示します。特に、私たちのレビューを区別するのは、トランスフォーマーの主要な定義プロパティに基づく組織にあります。
TransformerとCNN、およびTransformerとCNNを組み合わせる方法を指定するアーキテクチャのタイプを比較することで導き出され、すべての読者がレビューされたアプローチの背後にある理論的根拠を最もよく理解するのに役立ちます。
最後に、将来の展望について説明します。

要約(オリジナル)

Transformer, the latest technological advance of deep learning, has gained prevalence in natural language processing or computer vision. Since medical imaging bear some resemblance to computer vision, it is natural to inquire about the status quo of Transformers in medical imaging and ask the question: can the Transformer models transform medical imaging? In this paper, we attempt to make a response to the inquiry. After a brief introduction of the fundamentals of Transformers, especially in comparison with convolutional neural networks (CNNs), and highlighting key defining properties that characterize the Transformers, we offer a comprehensive review of the state-of-the-art Transformer-based approaches for medical imaging and exhibit current research progresses made in the areas of medical image segmentation, recognition, detection, registration, reconstruction, enhancement, etc. In particular, what distinguishes our review lies in its organization based on the Transformer’s key defining properties, which are mostly derived from comparing the Transformer and CNN, and its type of architecture, which specifies the manner in which the Transformer and CNN are combined, all helping the readers to best understand the rationale behind the reviewed approaches. We conclude with discussions of future perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google