Recent Progress in Transformer-based Medical Image Analysis

要約

トランスフォーマーは主に自然言語処理の分野で使用されます。
最近では、コンピュータ ビジョン (CV) 分野で採用され、期待されています。
CV の重要な分野である医用画像解析 (MIA) も、この最先端の技術から大きな恩恵を受けています。
このレビューでは、まず、トランスのコアコンポーネント、注目のメカニズム、およびトランスの詳細な構造を要約します。
その後、MIA 分野における変圧器の最近の進歩を描きます。
私たちは、分類、セグメンテーション、キャプション、登録、検出、強化、ローカリゼーション、合成などの一連のさまざまなタスクでアプリケーションを編成します。
主流の分類およびセグメンテーションのタスクは、さらに 11 の医用画像モダリティに分割されます。
このレビューで研究された多数の実験は、複数の評価基準との比較を通じて、変圧器ベースの方法が既存の方法よりも優れていることを示しています。
最後に、この分野における未解決の課題と将来の機会について説明します。
最新の内容、詳細な情報、包括的な比較を含むこのタスク モダリティのレビューは、広範な MIA コミュニティに大きな利益をもたらす可能性があります。

要約(オリジナル)

The transformer is primarily used in the field of natural language processing. Recently, it has been adopted and shows promise in the computer vision (CV) field. Medical image analysis (MIA), as a critical branch of CV, also greatly benefits from this state-of-the-art technique. In this review, we first recap the core component of the transformer, the attention mechanism, and the detailed structures of the transformer. After that, we depict the recent progress of the transformer in the field of MIA. We organize the applications in a sequence of different tasks, including classification, segmentation, captioning, registration, detection, enhancement, localization, and synthesis. The mainstream classification and segmentation tasks are further divided into eleven medical image modalities. A large number of experiments studied in this review illustrate that the transformer-based method outperforms existing methods through comparisons with multiple evaluation metrics. Finally, we discuss the open challenges and future opportunities in this field. This task-modality review with the latest contents, detailed information, and comprehensive comparison may greatly benefit the broad MIA community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google