Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review

要約

自然言語処理におけるトランスフォーマーの優れた性能は、近年、コンピュータビジョンにおいても広く注目されるようになりました。トランスフォーマーは、長距離依存関係や空間相関を学習することができ、これまでComputer Visionの問題でデファクトスタンダードであった畳み込みニューラルネットワーク（CNN）に対して明らかに優位であることが分かっている。このように、Transformerは現代の医用画像解析に欠かせないものとなっている。本総説では、医療画像におけるTransformerの応用について百科事典的にレビューする。具体的には、分類、セグメンテーション、検出、レジストレーション、合成、臨床レポート生成などの異なる医用画像解析タスクに関連する最近のトランスフォーマーの文献を系統的かつ徹底的にレビューする。これらのアプリケーションのそれぞれについて、我々は提案された異なる戦略の新規性、長所と短所を調査し、主要な特性と貢献を強調する分類法を開発する。さらに、該当する場合は、異なるデータセットにおける現在のベンチマークを概説する。最後に、主要な課題をまとめ、今後の研究の方向性について議論する。また、引用した論文とそれに対応する実装を https://github.com/mindflow-institue/Awesome-Transformer で紹介しています。

要約(オリジナル)

The remarkable performance of the Transformer architecture in natural language processing has recently also triggered broad interest in Computer Vision. Among other merits, Transformers are witnessed as capable of learning long-range dependencies and spatial correlations, which is a clear advantage over convolutional neural networks (CNNs), which have been the de facto standard in Computer Vision problems so far. Thus, Transformers have become an integral part of modern medical image analysis. In this review, we provide an encyclopedic review of the applications of Transformers in medical imaging. Specifically, we present a systematic and thorough review of relevant recent Transformer literature for different medical image analysis tasks, including classification, segmentation, detection, registration, synthesis, and clinical report generation. For each of these applications, we investigate the novelty, strengths and weaknesses of the different proposed strategies and develop taxonomies highlighting key properties and contributions. Further, if applicable, we outline current benchmarks on different datasets. Finally, we summarize key challenges and discuss different future research directions. In addition, we have provided cited papers with their corresponding implementations in https://github.com/mindflow-institue/Awesome-Transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL