Inflating 2D Convolution Weights for Efficient Generation of 3D Medical Images

要約

3 次元 (3D) 医用画像の生成は、3D 解剖学的構造を考慮に入れるため、大きな応用の可能性を秘めています。
ただし、3D 医用生成モデルの効果的なトレーニングを妨げる 2 つの問題があります。(1) 3D 医用画像を取得して注釈を付けるには非常に費用がかかるため、トレーニング画像の数が不十分になります。(2) 多数のパラメーターが使用されます。
3D畳み込みに関与しています。
両方の問題に対処するために、3D Split&Shuffle-GAN と呼ばれる新しい GAN モデルを提案します。
3D データ不足の問題に対処するために、まず豊富な画像スライスを使用して 2 次元 (2D) GAN モデルを事前トレーニングし、2D 畳み込みの重みを膨らませて 3D GAN の初期化を改善します。
画像生成の品質を維持しながらパラメーターの数を大幅に削減するために、GAN モデルのジェネレーターとディスクリミネーターの両方に対して新しい 3D ネットワーク アーキテクチャが提案されています。
重量インフレ戦略とパラメーター効率の高い 3 D アーキテクチャの数が調査されます。
心臓 (Stanford AIMI Coronary Calcium) と脳 (Alzheimer’s Disease Neuroimaging Initiative) の両方のデータセットでの実験では、提案されたアプローチが大幅に少ないパラメータで 3D 画像生成品質の向上につながることが示されています。

要約(オリジナル)

The generation of three-dimensional (3D) medical images can have great application potential since it takes into account the 3D anatomical structure. There are two problems, however, that prevent effective training of a 3D medical generative model: (1) 3D medical images are very expensive to acquire and annotate, resulting in an insufficient number of training images, (2) a large number of parameters are involved in 3D convolution. To address both problems, we propose a novel GAN model called 3D Split&Shuffle-GAN. In order to address the 3D data scarcity issue, we first pre-train a two-dimensional (2D) GAN model using abundant image slices and inflate the 2D convolution weights to improve initialization of the 3D GAN. Novel 3D network architectures are proposed for both the generator and discriminator of the GAN model to significantly reduce the number of parameters while maintaining the quality of image generation. A number of weight inflation strategies and parameter-efficient 3D architectures are investigated. Experiments on both heart (Stanford AIMI Coronary Calcium) and brain (Alzheimer’s Disease Neuroimaging Initiative) datasets demonstrate that the proposed approach leads to improved 3D images generation quality with significantly fewer parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google