GAN-based generation of realistic 3D data: A systematic review and taxonomy

要約

データは、今日の世界において最も価値のあるリソースとなっています。深層学習ベースのアプローチなど、データ駆動型アルゴリズムの大規模な普及に伴い、データの可用性は大きな関心事となっています。この文脈では、高品質のトレーニング、検証およびテストデータセットが特に必要とされています。体積データは、病気の診断から治療のモニタリングに至るまで、医療において非常に重要なリソースである。データセットが十分であれば、モデルを学習させ、医師のこれらの作業を支援することができる。しかし、残念ながら、大量のデータを利用できないシナリオやアプリケーションも存在する。例えば、医療分野では、希少疾患やプライバシーの問題から、データの利用が制限されることがあります。また、医療以外の分野では、十分な量の高品質データを入手するための高いコストが懸念されます。これらの問題を解決する方法として、合成データを生成し、他のより伝統的なデータ補強方法と組み合わせてデータ補強を行うことができる。そのため、3D Generative Adversarial Networks (GANs)に関する発表の多くは、医療分野でのものである。特に医療分野では、データが良質で現実に近く、すなわちリアルで、プライバシーの問題がないことが求められるため、リアルな合成データを生成する仕組みの存在は、この課題を克服するための良い資産となる。本総説では、GANを用いてリアルな3次元合成データを生成する研究の概要を紹介する。したがって、これらの分野におけるGANに基づく手法を、共通のアーキテクチャ、利点と欠点とともに概説する。また、新しい分類法、評価、課題、研究機会を提示し、医療や他の分野におけるGANの現状を全体的に概観する。

要約(オリジナル)

Data has become the most valuable resource in today’s world. With the massive proliferation of data-driven algorithms, such as deep learning-based approaches, the availability of data is of great interest. In this context, high-quality training, validation and testing datasets are particularly needed. Volumetric data is a very important resource in medicine, as it ranges from disease diagnoses to therapy monitoring. When the dataset is sufficient, models can be trained to help doctors with these tasks. Unfortunately, there are scenarios and applications where large amounts of data is unavailable. For example, in the medical field, rare diseases and privacy issues can lead to restricted data availability. In non-medical fields, the high cost of obtaining a sufficient amount of high-quality data can also be a concern. A solution to these problems can be the generation of synthetic data to perform data augmentation in combination with other more traditional methods of data augmentation. Therefore, most of the publications on 3D Generative Adversarial Networks (GANs) are within the medical domain. The existence of mechanisms to generate realistic synthetic data is a good asset to overcome this challenge, especially in healthcare, as the data must be of good quality and close to reality, i.e. realistic, and without privacy issues. In this review, we provide a summary of works that generate realistic 3D synthetic data using GANs. We therefore outline GAN-based methods in these areas with common architectures, advantages and disadvantages. We present a novel taxonomy, evaluations, challenges and research opportunities to provide a holistic overview of the current state of GANs in medicine and other fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL