Photoacoustic image synthesis with generative adversarial networks

要約

光音響トモグラフィー (PAT) は、形態学的および機能的な組織特性を高い空間分解能で回復する可能性があります。
ただし、教師あり機械学習を使用して光学的逆問題を解決しようとする以前の試みは、ラベル付けされた参照データがないために妨げられていました。
このボトルネックは、トレーニング データをシミュレートすることで対処されていますが、実際の画像とシミュレートされた画像の間のドメイン ギャップは未解決の課題のままです。
もっともらしいシミュレーションを生成するという課題を、(1) 現実的な組織形態の確率論的生成、および (2) 対応する光学的および音響的特性のピクセルごとの割り当てという 2 つのばらばらな問題に分割することを含む、PAT 画像合成への新しいアプローチを提案します。
前者は、セマンティックに注釈が付けられた医用画像データでトレーニングされた Generative Adversarial Networks (GAN) で実現されます。
ダウンストリーム タスクに関する検証研究によると、私たちのアプローチは従来のモデルベースのアプローチよりもリアルな合成画像を生成するため、深層学習ベースの定量的 PAT (qPAT) の基本的なステップになる可能性があります。

要約(オリジナル)

Photoacoustic tomography (PAT) has the potential to recover morphological and functional tissue properties with high spatial resolution. However, previous attempts to solve the optical inverse problem with supervised machine learning were hampered by the absence of labeled reference data. While this bottleneck has been tackled by simulating training data, the domain gap between real and simulated images remains an unsolved challenge. We propose a novel approach to PAT image synthesis that involves subdividing the challenge of generating plausible simulations into two disjoint problems: (1) Probabilistic generation of realistic tissue morphology, and (2) pixel-wise assignment of corresponding optical and acoustic properties. The former is achieved with Generative Adversarial Networks (GANs) trained on semantically annotated medical imaging data. According to a validation study on a downstream task our approach yields more realistic synthetic images than the traditional model-based approach and could therefore become a fundamental step for deep learning-based quantitative PAT (qPAT).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google