GLIMPSE: Generalized Local Imaging with MLPs

要約

ディープラーニングは断層撮影イメージングにおける現在の事実上の最先端技術です。
一般的なアプローチは、単純な反転 (逆投影など) の結果を畳み込みニューラル ネットワーク (CNN) に供給し、CNN が再構成を計算することです。
トレーニング データと同様の「分布内」テスト データでは良好な結果が得られましたが、スパース ビュー データからの逆投影では特異点が非局在化されるため、これらのアプローチが適切に実行するには大きな受容野が必要です。
結果として、それらは特定のグローバル構造に過剰適合し、分布外 (OOD) サンプルの一般化が不十分になります。
さらに、メモリの複雑さとトレーニング時間は画像解像度に応じて好ましくなく変化するため、現実的な臨床解像度、特に 3D でのアプリケーションには実用的ではありません。標準的な U-Net は、研究グレードの GPU で 140GB の相当なメモリとエポックあたり 2600 秒を必要とします。
1024×1024 の画像でトレーニングする場合。
この論文では、ピクセルの近傍に関連する測定値のみを単純な MLP に供給することでピクセル値を再構成する、コンピューター断層撮影用のローカル処理ニューラル ネットワークである GLIMPSE を紹介します。
配布中のテスト データでは、U-Net などの成功した CNN と同等以上のパフォーマンスを達成しますが、GLIMPSE は、画像解像度にほぼ依存しないメモリ フットプリントを維持しながら、OOD サンプルでは CNN を大幅に上回ります。
1024×1024 の画像でトレーニングするには 5 GB のメモリで十分です。
さらに、GLIMPSE は完全に微分可能であるように構築されており、これにより、投影角度がキャリブレーションから外れた場合に正確な投影角度を回復するなどの偉業が可能になります。

要約(オリジナル)

Deep learning is the current de facto state of the art in tomographic imaging. A common approach is to feed the result of a simple inversion, for example the backprojection, to a convolutional neural network (CNN) which then computes the reconstruction. Despite strong results on ‘in-distribution’ test data similar to the training data, backprojection from sparse-view data delocalizes singularities, so these approaches require a large receptive field to perform well. As a consequence, they overfit to certain global structures which leads to poor generalization on out-of-distribution (OOD) samples. Moreover, their memory complexity and training time scale unfavorably with image resolution, making them impractical for application at realistic clinical resolutions, especially in 3D: a standard U-Net requires a substantial 140GB of memory and 2600 seconds per epoch on a research-grade GPU when training on 1024×1024 images. In this paper, we introduce GLIMPSE, a local processing neural network for computed tomography which reconstructs a pixel value by feeding only the measurements associated with the neighborhood of the pixel to a simple MLP. While achieving comparable or better performance with successful CNNs like the U-Net on in-distribution test data, GLIMPSE significantly outperforms them on OOD samples while maintaining a memory footprint almost independent of image resolution; 5GB memory suffices to train on 1024×1024 images. Further, we built GLIMPSE to be fully differentiable, which enables feats such as recovery of accurate projection angles if they are out of calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google