Is attention all you need in medical image analysis? A review

要約

医療画像は臨床診断、治療計画、臨床試験設計における重要な要素であり、すべての医療データのほぼ 90% を占めています。
CNN はここ数年で医療画像分析 (MIA) のパフォーマンス向上を達成しました。
CNN は、ローカル ピクセルの相互作用を効率的にモデル化し、小規模な MI データでトレーニングできます。
典型的な CNN モデルの主な欠点は、画像内のグローバルなピクセル関係を無視するため、異なる「グローバル」情報を持つ分布外のデータを理解する汎化能力が制限されることです。
最近の人工知能の進歩により、データからグローバルな関係を学習できるトランスフォーマーが誕生しました。
ただし、完全な Transformer モデルは大規模なデータでトレーニングする必要があり、非常に複雑な計算が必要になります。
グローバルな関係をモデル化するためのプロパティを適切に維持できるアテンション コンパートメントとトランスフォーマー コンパートメント (Transf/Attend) は、完全なトランスフォーマーのより軽量な代替手段として提案されています。
最近、CNN および Transf/Attend アーキテクチャからの相補的なローカルとグローバルのプロパティを共受粉する傾向が増加しており、これがハイブリッド モデルの新時代につながりました。
ここ数年、さまざまな MIA 問題にわたってハイブリッド CNN-Transf/Attend モデルが大幅に成長してきました。
この系統的レビューでは、既存のハイブリッド CNN-Transf/Attend モデルを調査し、主要なアーキテクチャ設計をレビューおよび解明し、ブレークスルーを分析し、現在および将来の機会と課題を評価します。
また、科学的および臨床的影響の一般化の機会に関する包括的な分析フレームワークも導入しました。これに基づいて、新しいデータ駆動型領域の一般化および適応方法を刺激できます。

要約(オリジナル)

Medical imaging is a key component in clinical diagnosis, treatment planning and clinical trial design, accounting for almost 90% of all healthcare data. CNNs achieved performance gains in medical image analysis (MIA) over the last years. CNNs can efficiently model local pixel interactions and be trained on small-scale MI data. The main disadvantage of typical CNN models is that they ignore global pixel relationships within images, which limits their generalisation ability to understand out-of-distribution data with different ‘global’ information. The recent progress of Artificial Intelligence gave rise to Transformers, which can learn global relationships from data. However, full Transformer models need to be trained on large-scale data and involve tremendous computational complexity. Attention and Transformer compartments (Transf/Attention) which can well maintain properties for modelling global relationships, have been proposed as lighter alternatives of full Transformers. Recently, there is an increasing trend to co-pollinate complementary local-global properties from CNN and Transf/Attention architectures, which led to a new era of hybrid models. The past years have witnessed substantial growth in hybrid CNN-Transf/Attention models across diverse MIA problems. In this systematic review, we survey existing hybrid CNN-Transf/Attention models, review and unravel key architectural designs, analyse breakthroughs, and evaluate current and future opportunities as well as challenges. We also introduced a comprehensive analysis framework on generalisation opportunities of scientific and clinical impact, based on which new data-driven domain generalisation and adaptation methods can be stimulated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google