BiOcularGAN: Bimodal Synthesis and Annotation of Ocular Images

要約

眼球画像の現在の最先端のセグメンテーション技術は、大規模な注釈付きデータセットに大きく依存しています。これは、収集するのに労力がかかり、プライバシーの問題を引き起こすことがよくあります。
この論文では、BiOcularGAN と呼ばれる新しいフレームワークを提示します。これは、これらの問題に対処するために、対応するセグメンテーション ラベルと共に、写実的な (可視光および近赤外) 眼球画像の合成大規模データセットを生成することができます。
このフレームワークは、その中核として、バイモーダル画像生成を容易にする新しい Dual-Branch StyleGAN2 (DB-StyleGAN2) モデルと、DB-StyleGAN2 モデルの潜在機能を利用してセマンティック アノテーションを生成する Semantic Mask Generator (SMG) コンポーネントに依存しています。
5つの多様な眼球データセットにわたる広範な実験を通じてBiOcularGANを評価し、バイモーダルデータ生成が画質と生成された注釈に及ぼす影響を分析します。
私たちの実験結果は、BiOcularGAN が高品質の一致するバイモーダル画像と注釈を (最小限の手動介入で) 生成できることを示しています。これを使用して、非常に競争力のある (深い) セグメンテーション モデルを (プライバシーを意識した方法で) トレーニングすることができます。
実世界のデータセット。
BiOcularGAN フレームワークのソース コードは、https://github.com/dariant/BiOcularGAN で公開されています。

要約(オリジナル)

Current state-of-the-art segmentation techniques for ocular images are critically dependent on large-scale annotated datasets, which are labor-intensive to gather and often raise privacy concerns. In this paper, we present a novel framework, called BiOcularGAN, capable of generating synthetic large-scale datasets of photorealistic (visible light and near-infrared) ocular images, together with corresponding segmentation labels to address these issues. At its core, the framework relies on a novel Dual-Branch StyleGAN2 (DB-StyleGAN2) model that facilitates bimodal image generation, and a Semantic Mask Generator (SMG) component that produces semantic annotations by exploiting latent features of the DB-StyleGAN2 model. We evaluate BiOcularGAN through extensive experiments across five diverse ocular datasets and analyze the effects of bimodal data generation on image quality and the produced annotations. Our experimental results show that BiOcularGAN is able to produce high-quality matching bimodal images and annotations (with minimal manual intervention) that can be used to train highly competitive (deep) segmentation models (in a privacy aware-manner) that perform well across multiple real-world datasets. The source code for the BiOcularGAN framework is publicly available at https://github.com/dariant/BiOcularGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google