Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

要約

深層学習の最新の技術進歩である Transformer は、自然言語処理やコンピューター ビジョンで普及しています。
医用画像処理はコンピュータ ビジョンに似ているため、医用画像処理におけるトランスフォーマーの現状について質問するのは自然なことです。
本稿では、この問い合わせに対する回答を試みます。
特に畳み込みニューラル ネットワーク (CNN) と比較して Transformer の基礎を簡単に紹介し、Transformer を特徴付ける重要な定義プロパティを強調した後、最先端の Transformer ベースのアプローチの包括的なレビューを提供します。
医用画像と、医用画像のセグメンテーション、認識、検出、登録、再構成、強化などの分野で行われた現在の研究の進歩を展示します。
Transformer と CNN、および Transformer と CNN を組み合わせる方法を指定するそのアーキテクチャのタイプを比較することから導き出されたもので、レビューされたアプローチの背後にある理論的根拠を読者が最もよく理解するのに役立ちます。
今後の展望についての議論で締めくくります。

要約(オリジナル)

Transformer, the latest technological advance of deep learning, has gained prevalence in natural language processing or computer vision. Since medical imaging bear some resemblance to computer vision, it is natural to inquire about the status quo of Transformers in medical imaging and ask the question: can the Transformer models transform medical imaging? In this paper, we attempt to make a response to the inquiry. After a brief introduction of the fundamentals of Transformers, especially in comparison with convolutional neural networks (CNNs), and highlighting key defining properties that characterize the Transformers, we offer a comprehensive review of the state-of-the-art Transformer-based approaches for medical imaging and exhibit current research progresses made in the areas of medical image segmentation, recognition, detection, registration, reconstruction, enhancement, etc. In particular, what distinguishes our review lies in its organization based on the Transformer’s key defining properties, which are mostly derived from comparing the Transformer and CNN, and its type of architecture, which specifies the manner in which the Transformer and CNN are combined, all helping the readers to best understand the rationale behind the reviewed approaches. We conclude with discussions of future perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google