MedNNS: Supernet-based Medical Task-Adaptive Neural Network Search

要約

ディープラーニング（DL）は、医療イメージングの分野で顕著な進歩を遂げました。
ただし、主に2つの重要な要因が原因で、DLモデルを医療タスクに適応させることは依然として重要な課題のままです。（1）さまざまなタスクが特殊なモデル設計を必要とするため、（2）モデルの収束速度と最終パフォーマンスに直接影響する重みの初期化が必要です。
Imagenetからの転送学習は広く採用されている戦略ですが、その有効性は、自然画像と医療画像の間の実質的な違いによって制約されます。
これらの課題に対処するために、医療イメージングアプリケーションの最初のニューラルネットワーク検索フレームワークである医療ニューラルネットワーク検索（MEDNNS）を紹介します。
MEDNNSは、それらがどの程度うまく機能するかに基づいてデータセットとモデルをエンコードするメタスペースを構築することにより、アーキテクチャの選択と重量の初期化を共同で最適化します。
スーパーネットワークベースのアプローチを使用してこのスペースを構築し、以前の最先端（SOTA）メソッドでモデル動物園のサイズを51倍拡大します。
さらに、ランクの損失とfre \ ‘echetインセプション距離（FID）損失をスペースの構築に導入して、モデル間およびデータ準間関係をキャプチャして、メタ空間でより正確な整合性を達成します。
複数のデータセットにわたる実験結果は、MEDNNがイメージネットの事前訓練を受けたDLモデルとSOTAニューラルアーキテクチャ検索（NAS）メソッドの両方を大幅に上回ることを示しており、データセット全体で1.7％の平均精度改善を達成しながら、大幅に速く収束します。
コードと処理されたメタスペースは、https：//github.com/biomedia-mbzuai/mednnsで入手できます。

要約(オリジナル)

Deep learning (DL) has achieved remarkable progress in the field of medical imaging. However, adapting DL models to medical tasks remains a significant challenge, primarily due to two key factors: (1) architecture selection, as different tasks necessitate specialized model designs, and (2) weight initialization, which directly impacts the convergence speed and final performance of the models. Although transfer learning from ImageNet is a widely adopted strategy, its effectiveness is constrained by the substantial differences between natural and medical images. To address these challenges, we introduce Medical Neural Network Search (MedNNS), the first Neural Network Search framework for medical imaging applications. MedNNS jointly optimizes architecture selection and weight initialization by constructing a meta-space that encodes datasets and models based on how well they perform together. We build this space using a Supernetwork-based approach, expanding the model zoo size by 51x times over previous state-of-the-art (SOTA) methods. Moreover, we introduce rank loss and Fr\’echet Inception Distance (FID) loss into the construction of the space to capture inter-model and inter-dataset relationships, thereby achieving more accurate alignment in the meta-space. Experimental results across multiple datasets demonstrate that MedNNS significantly outperforms both ImageNet pre-trained DL models and SOTA Neural Architecture Search (NAS) methods, achieving an average accuracy improvement of 1.7% across datasets while converging substantially faster. The code and the processed meta-space is available at https://github.com/BioMedIA-MBZUAI/MedNNS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google