What can we learn about a generated image corrupting its latent representation?

要約

敵対的生成ネットワーク (GAN) は、画像から画像への変換の問題に対する効果的なソリューションを提供し、それによって医用画像処理の新しい可能性を可能にします。
低コストで、ある画像モダリティから別の画像モダリティに画像を変換できます。
ペアになっていないデータセットの場合、それらは主にサイクル損失に依存しています。
基礎となるデータ分布の学習には効果的ですが、入力データと出力データの間に不一致が生じる可能性があります。
この作業の目的は、GAN のボトルネックにおける潜在的な表現に基づいて画質を予測できるという仮説を調査することです。
これは、潜在表現をノイズで破損し、複数の出力を生成することで実現します。
それらの間の違いの程度は、表現の強さとして解釈されます。潜在的な表現がより堅牢であるほど、破損によって生じる出力画像の変化が少なくなります。
私たちの結果は、提案された方法が、i) 合成画像の不確実な部分を予測する能力、および ii) 下流のタスク (例えば、肝臓のセグメンテーション タスク) に対して信頼できない可能性があるサンプルを識別する能力を持っていることを示しています。

要約(オリジナル)

Generative adversarial networks (GANs) offer an effective solution to the image-to-image translation problem, thereby allowing for new possibilities in medical imaging. They can translate images from one imaging modality to another at a low cost. For unpaired datasets, they rely mostly on cycle loss. Despite its effectiveness in learning the underlying data distribution, it can lead to a discrepancy between input and output data. The purpose of this work is to investigate the hypothesis that we can predict image quality based on its latent representation in the GANs bottleneck. We achieve this by corrupting the latent representation with noise and generating multiple outputs. The degree of differences between them is interpreted as the strength of the representation: the more robust the latent representation, the fewer changes in the output image the corruption causes. Our results demonstrate that our proposed method has the ability to i) predict uncertain parts of synthesized images, and ii) identify samples that may not be reliable for downstream tasks, e.g., liver segmentation task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google