K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality Assessment

要約

クロスモダリティ医療画像合成をどのように評価するかという問題は、ほとんど解明されていません。
PSNR や SSIM などの最もよく使用される尺度は、構造的特徴の分析に焦点を当てていますが、重要な病変の位置や医療画像の基本的な k 空間の特殊性は無視されています。
この問題を克服するために、この困難な問題の進歩を促す新しい指標 K-CROSS を提案します。
具体的には、K-CROSS は、事前にトレーニングされたマルチモダリティ セグメンテーション ネットワークを使用して病変の位置を予測するとともに、テクスチャの詳細や輝度強度などの特徴を表現する腫瘍エンコーダーを使用します。
磁気共鳴イメージング原理からの周波数固有の情報をさらに反映するために、k 空間特徴と視覚特徴の両方が取得され、周波​​数再構成ペナルティを備えた包括的なエンコーダーで使用されます。
構造共有エンコーダーは、両方のモダリティに固有の共通構造情報を捕捉するために、類似性損失を考慮して設計および制約されています。
結果として、病変領域、k 空間、解剖学的構造から学習された特徴がすべて取得され、品質評価の材料として機能します。
6,000 件の放射線科医の判断を含む大規模なクロスモダリティ神経画像知覚類似性 (NIRPS) データセットを構築することでパフォーマンスを評価します。
広範な実験により、提案された方法が他の指標よりも優れていることが実証されており、特に NIRPS の放射線科医と比較した場合に顕著です。

要約(オリジナル)

The problem of how to assess cross-modality medical image synthesis has been largely unexplored. The most used measures like PSNR and SSIM focus on analyzing the structural features but neglect the crucial lesion location and fundamental k-space speciality of medical images. To overcome this problem, we propose a new metric K-CROSS to spur progress on this challenging problem. Specifically, K-CROSS uses a pre-trained multi-modality segmentation network to predict the lesion location, together with a tumor encoder for representing features, such as texture details and brightness intensities. To further reflect the frequency-specific information from the magnetic resonance imaging principles, both k-space features and vision features are obtained and employed in our comprehensive encoders with a frequency reconstruction penalty. The structure-shared encoders are designed and constrained with a similarity loss to capture the intrinsic common structural information for both modalities. As a consequence, the features learned from lesion regions, k-space, and anatomical structures are all captured, which serve as our quality evaluators. We evaluate the performance by constructing a large-scale cross-modality neuroimaging perceptual similarity (NIRPS) dataset with 6,000 radiologist judgments. Extensive experiments demonstrate that the proposed method outperforms other metrics, especially in comparison with the radiologists on NIRPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google