Need for Objective Task-based Evaluation of Deep Learning-Based Denoising Methods: A Study in the Context of Myocardial Perfusion SPECT

要約

人工知能に基づく手法は、核医学において大きな関心を集めている。特に、低線量、短時間、またはその両方で取得された画像のノイズ除去に、ディープラーニング（DL）ベースのアプローチを使用することに大きな関心が集まっています。これらのアプローチを客観的に評価することは、臨床応用に不可欠である。核医学画像のノイズ除去のためのDLベースのアプローチは、通常、RMSEやSSIMなどの忠実度に基づく功労指数（FoM）を用いて評価されてきた。しかし、これらの画像は臨床作業用に取得されるため、これらの作業における性能に基づいて評価されるべきである。我々の目的は、(1)これらのFoMsによる評価が臨床タスクに基づく客観的な評価と一致するかどうかを調査すること、(2)信号検出タスクにおけるノイズ除去の影響を決定するための理論的分析を提供すること、(3)仮想臨床試験（VCT）によるDLベースの手法の評価の有用性を実証することである。心筋梗塞SPECT（MPS）画像のDLベースのノイズ除去法を評価するためのVCTを実施した。DLベースのノイズ除去の影響は、MPS画像における灌流欠損の検出性能を定量化する忠実度ベースのFoMsとAUCを用いて評価された。忠実度ベースのFoMsに基づくと、DLベースの手法によるノイズ除去は有意に優れた性能を示した。しかし、ROC分析によれば、ノイズ除去は検出タスクのパフォーマンスを向上させることはなく、むしろ劣化させることが多かった。この結果は、DLベースのノイズ除去アプローチの客観的なタスクベースの評価の必要性を動機付けるものである。さらに、本研究は、VCTを用いてそのような評価を行うためのメカニズムを提供することを示す。最後に、我々の理論的な扱いによって、ノイズ除去アプローチの性能が限定的であった理由についての洞察が明らかになった。

要約(オリジナル)

Artificial intelligence-based methods have generated substantial interest in nuclear medicine. An area of significant interest has been using deep-learning (DL)-based approaches for denoising images acquired with lower doses, shorter acquisition times, or both. Objective evaluation of these approaches is essential for clinical application. DL-based approaches for denoising nuclear-medicine images have typically been evaluated using fidelity-based figures of merit (FoMs) such as RMSE and SSIM. However, these images are acquired for clinical tasks and thus should be evaluated based on their performance in these tasks. Our objectives were to (1) investigate whether evaluation with these FoMs is consistent with objective clinical-task-based evaluation; (2) provide a theoretical analysis for determining the impact of denoising on signal-detection tasks; (3) demonstrate the utility of virtual clinical trials (VCTs) to evaluate DL-based methods. A VCT to evaluate a DL-based method for denoising myocardial perfusion SPECT (MPS) images was conducted. The impact of DL-based denoising was evaluated using fidelity-based FoMs and AUC, which quantified performance on detecting perfusion defects in MPS images as obtained using a model observer with anthropomorphic channels. Based on fidelity-based FoMs, denoising using the considered DL-based method led to significantly superior performance. However, based on ROC analysis, denoising did not improve, and in fact, often degraded detection-task performance. The results motivate the need for objective task-based evaluation of DL-based denoising approaches. Further, this study shows how VCTs provide a mechanism to conduct such evaluations using VCTs. Finally, our theoretical treatment reveals insights into the reasons for the limited performance of the denoising approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL