Convolutional Neural Networks with Intermediate Loss for 3D Super-Resolution of CT and MRI Scans

要約

タイトル: CTとMRIのスーパーレゾリューションのための中間損失を持つ畳み込みニューラルネットワーク
要約：
– 医療現場で広く使用されているCTスキャナーは、最大でも512ピクセルの低解像度のイメージを生成する。
– 画像内の1ピクセルは、組織の1ミリメートルの部分に相当する。
– 腫瘍を正確に分割し、治療計画を策定するために、医師たちはより高解像度のCTスキャンが必要である。
– MRIでも同様に問題が発生する。
– この論文では、3D CTまたはMRIスキャンの単一画像のスーパーレゾリューションのアプローチを提案する。
– この方法は、10の畳み込み層と最初の6つの畳み込み層の後に配置された中間アップスケーリング層で構成された深い畳み込みニューラルネットワーク（CNN）に基づいている。
– 2つの軸（幅と高さ）の解像度を上げる最初のCNNに続いて、第3軸（深さ）の解像度を上げるための2つ目のCNNが続く。
– 他の方法との違いは、最後の畳み込み層の後に損失を計算することに加えて、アップスケーリング層の直後で正解の高解像度出力との損失を計算することである。
– 中間損失によって、ネットワークはより高解像度の正確な出力を生成するように強制される。
– 鮮明な結果を得るために、一般的に使われる方法は、固定された標準偏差を持つガウスぼかしを追加することである。
– 固定された標準偏差にオーバーフィッティングしないように、他のアプローチとは異なり、私たちは様々な標準偏差でガウス平滑化を適用する。
– 2つのデータベースからのCTおよびMRIスキャンの2Dおよび3Dスーパーレゾリューションの文脈で、2倍および4倍のスケーリングファクタを使用して、文献からの関連する関連作品や基準点に基づく補間手法と比較して、私たちの手法を評価した。
– 結果は、私たちの手法がすべての他の手法よりも優れた結果を達成することを示している。
– さらに、私たちの人間の注釈付けの研究では、2倍のアップスケーリング係数に対して97.55％のケース、4倍のアップスケーリング係数に対して96.69％のケースで、医師と一般の注釈付け者がランコシュ補間に代わって私たちの手法を選んだことがわかった。

要約(オリジナル)

CT scanners that are commonly-used in hospitals nowadays produce low-resolution images, up to 512 pixels in size. One pixel in the image corresponds to a one millimeter piece of tissue. In order to accurately segment tumors and make treatment plans, doctors need CT scans of higher resolution. The same problem appears in MRI. In this paper, we propose an approach for the single-image super-resolution of 3D CT or MRI scans. Our method is based on deep convolutional neural networks (CNNs) composed of 10 convolutional layers and an intermediate upscaling layer that is placed after the first 6 convolutional layers. Our first CNN, which increases the resolution on two axes (width and height), is followed by a second CNN, which increases the resolution on the third axis (depth). Different from other methods, we compute the loss with respect to the ground-truth high-resolution output right after the upscaling layer, in addition to computing the loss after the last convolutional layer. The intermediate loss forces our network to produce a better output, closer to the ground-truth. A widely-used approach to obtain sharp results is to add Gaussian blur using a fixed standard deviation. In order to avoid overfitting to a fixed standard deviation, we apply Gaussian smoothing with various standard deviations, unlike other approaches. We evaluate our method in the context of 2D and 3D super-resolution of CT and MRI scans from two databases, comparing it to relevant related works from the literature and baselines based on various interpolation schemes, using 2x and 4x scaling factors. The empirical results show that our approach attains superior results to all other methods. Moreover, our human annotation study reveals that both doctors and regular annotators chose our method in favor of Lanczos interpolation in 97.55% cases for 2x upscaling factor and in 96.69% cases for 4x upscaling factor.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI