Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations

要約

シミュレートされたラベル マップからの写実的な画像生成は、仮想現実での医療トレーニングなど、いくつかのコンテキストで必要になります。
従来のディープ ラーニング手法では、このタスクにはセマンティック アノテーションとペアになった画像が必要ですが、通常は利用できません。
両方のペアになっていないセットから学習することにより、シミュレートされたラベルマップから写実的な画像を生成するための対照的な学習フレームワークを紹介します。
実際の画像とラベル マップの潜在的に大きなシーンの違いにより、既存の対になっていない画像変換方法では、合成画像にシーン変更のアーティファクトが生じます。
逆変換ネットワークの機能を利用して一貫性を確保しながら、対照的な損失の代理ターゲットとしてシミュレートされた画像を利用します。
私たちの方法は、腹腔鏡検査、超音波、運転シーンなど、さまざまなシナリオやデータセットで実証されている双方向のラベル画像変換を可能にします。
最先端の対応していない翻訳方法と比較することにより、提案された方法が現実的でシーンに正確な翻訳を生成することが示されています。

要約(オリジナル)

Photorealistic image generation from simulated label maps are necessitated in several contexts, such as for medical training in virtual reality. With conventional deep learning methods, this task requires images that are paired with semantic annotations, which typically are unavailable. We introduce a contrastive learning framework for generating photorealistic images from simulated label maps, by learning from unpaired sets of both. Due to potentially large scene differences between real images and label maps, existing unpaired image translation methods lead to artifacts of scene modification in synthesized images. We utilize simulated images as surrogate targets for a contrastive loss, while ensuring consistency by utilizing features from a reverse translation network. Our method enables bidirectional label-image translations, which is demonstrated in a variety of scenarios and datasets, including laparoscopy, ultrasound, and driving scenes. By comparing with state-of-the-art unpaired translation methods, our proposed method is shown to generate realistic and scene-accurate translations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google