Multi-Scale Texture Loss for CT denoising with GANs

要約

Generative Adversarial Networks (GAN) は、医療画像処理アプリケーションのノイズ除去のための強力なフレームワークとして証明されています。
ただし、GAN ベースのノイズ除去アルゴリズムには、画像内の複雑な関係を捉える際の制限がまだあります。
この点において、損失関数は、合成画像が実際の画像とどの程度異なるかを含めて、画像生成プロセスを導く上で重要な役割を果たします。
トレーニング プロセスで非常に複雑で非線形のテクスチャ関係を把握するために、この研究では、グレーレベル共起行列 (GLCM) の固有のマルチスケールの性質を利用する損失関数を提示します。
深層学習の最近の進歩により、分類および検出タスクにおいて優れたパフォーマンスが実証されていますが、その情報コンテンツは GAN のトレーニングに統合された場合に価値があるのではないかと私たちは仮説を立てています。
この目的を達成するために、勾配ベースの最適化に適した GLCM の微分可能な実装を提案します。
私たちのアプローチでは、画像から抽出されたマルチスケール テクスチャ情報を動的に集約するセルフ アテンション レイヤーも導入しています。
私たちは、ノイズの多い CT スキャンの品質を向上させることを目的とした挑戦的なアプリケーションである、低線量 CT ノイズ除去のコンテキストで広範な実験を実行することで、私たちのアプローチを検証します。
1 つのシミュレーション データセットと 2 つの実際のデータセットを含む、3 つの公開データセットを利用します。
この結果は、他の十分に確立された損失関数と比較して有望であり、3 つの異なる GAN アーキテクチャ間でも一貫しています。
コードはhttps://github.com/FrancescoDiFeola/DenoTextureLossから入手できます。

要約(オリジナル)

Generative Adversarial Networks (GANs) have proved as a powerful framework for denoising applications in medical imaging. However, GAN-based denoising algorithms still suffer from limitations in capturing complex relationships within the images. In this regard, the loss function plays a crucial role in guiding the image generation process, encompassing how much a synthetic image differs from a real image. To grasp highly complex and non-linear textural relationships in the training process, this work presents a loss function that leverages the intrinsic multi-scale nature of the Gray-Level-Co-occurrence Matrix (GLCM). Although the recent advances in deep learning have demonstrated superior performance in classification and detection tasks, we hypothesize that its information content can be valuable when integrated into GANs’ training. To this end, we propose a differentiable implementation of the GLCM suited for gradient-based optimization. Our approach also introduces a self-attention layer that dynamically aggregates the multi-scale texture information extracted from the images. We validate our approach by carrying out extensive experiments in the context of low-dose CT denoising, a challenging application that aims to enhance the quality of noisy CT scans. We utilize three publicly available datasets, including one simulated and two real datasets. The results are promising as compared to other well-established loss functions, being also consistent across three different GAN architectures. The code is available at: https://github.com/FrancescoDiFeola/DenoTextureLoss

arxiv情報

提供元, 利用サービス

arxiv.jp, Google