One Hyper-Initializer for All Network Architectures in Medical Image Analysis

要約

事前学習は深層学習モデルの性能に不可欠であり、特に学習データが限られている医用画像解析タスクにおいて重要である。しかし、既存の事前学習方法は、あるモデルの事前学習された重みを他のネットワークアーキテクチャで再利用できないため、柔軟性に欠ける。本論文では、任意のネットワークアーキテクチャを一度だけ事前学習した後、良好に初期化できるアーキテクチャ非依存型ハイパーイニシャライザを提案する。提案する初期化器は、下流のアーキテクチャを入力グラフとして受け取り、各アーキテクチャの初期化パラメータを出力するハイパーネットワークである。我々は、複数の医用画像モダリティ、特にデータが限られた分野での広範な実験結果を通じて、ハイパーイニシャライザの有効性と効率性を示す。さらに、提案アルゴリズムは、同じモダリティの任意の下流アーキテクチャとタスク（分類とセグメンテーションの両方）に対して、プラグアンドプレイ可能な初期化器として再利用可能であることを証明する。

要約(オリジナル)

Pre-training is essential to deep learning model performance, especially in medical image analysis tasks where limited training data are available. However, existing pre-training methods are inflexible as the pre-trained weights of one model cannot be reused by other network architectures. In this paper, we propose an architecture-irrelevant hyper-initializer, which can initialize any given network architecture well after being pre-trained for only once. The proposed initializer is a hypernetwork which takes a downstream architecture as input graphs and outputs the initialization parameters of the respective architecture. We show the effectiveness and efficiency of the hyper-initializer through extensive experimental results on multiple medical imaging modalities, especially in data-limited fields. Moreover, we prove that the proposed algorithm can be reused as a favorable plug-and-play initializer for any downstream architecture and task (both classification and segmentation) of the same modality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL