Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion

要約

我々は、病変の有無や順序を制御するためにテキストを条件とするマルチシーケンス前立腺MR画像の画像合成機構を提案し、また、病理画像合成の2つの難題であるペアデータのためにT2強調MRから拡散強調MRを生成するなど、画像を条件とするペアバイパラメトリック画像を生成する。我々の提案するメカニズムは、ペアデータ生成のための画像ベースの条件付けを提案することで、最近の安定した拡散モデルを利用し構築する。本手法は、実際の前立腺癌の疑いのある患者の2次元画像スライスを用いて検証する。合成された画像のリアルさは、本物か偽物かを識別するためのブラインド専門家評価によって検証され、4年間の泌尿器科MRの読影経験を持つ放射線科医が、テストしたすべてのシーケンスで59.4%の精度しか達成しなかった（偶然は50%）。今回初めて、疑われる病変の有無を専門家がブラインドで識別することで、生成された病理のリアルさを評価しました。その結果、臨床医は実画像と合成画像の両方で同様のパフォーマンスを示し、実画像と合成画像の間で病変識別精度に2.9ポイントの差があることがわかり、放射線科トレーニングでの可能性が示されました。さらに、病変識別のために学習させた機械学習モデルは、実画像のみで学習させた場合よりも、合成データで補強した実データで学習させた場合の方が、より良い性能（76.2%対70.4%、統計的に有意な改善）を示し、モデル学習への有用性が示されました。

要約(オリジナル)

We propose an image synthesis mechanism for multi-sequence prostate MR images conditioned on text, to control lesion presence and sequence, as well as to generate paired bi-parametric images conditioned on images e.g. for generating diffusion-weighted MR from T2-weighted MR for paired data, which are two challenging tasks in pathological image synthesis. Our proposed mechanism utilises and builds upon the recent stable diffusion model by proposing image-based conditioning for paired data generation. We validate our method using 2D image slices from real suspected prostate cancer patients. The realism of the synthesised images is validated by means of a blind expert evaluation for identifying real versus fake images, where a radiologist with 4 years experience reading urological MR only achieves 59.4% accuracy across all tested sequences (where chance is 50%). For the first time, we evaluate the realism of the generated pathology by blind expert identification of the presence of suspected lesions, where we find that the clinician performs similarly for both real and synthesised images, with a 2.9 percentage point difference in lesion identification accuracy between real and synthesised images, demonstrating the potentials in radiological training purposes. Furthermore, we also show that a machine learning model, trained for lesion identification, shows better performance (76.2% vs 70.4%, statistically significant improvement) when trained with real data augmented by synthesised data as opposed to training with only real images, demonstrating usefulness for model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL