A Data Augmentation Pipeline to Generate Synthetic Labeled Datasets of 3D Echocardiography Images using a GAN

要約

プライバシーの問題と、医療画像の分野で公的に入手可能なラベル付きデータセットの量が限られているため、データ収集の必要性と、労力とエラーが発生しやすいデータセットの必要性を軽減するために、3D 心エコー画像と対応するグラウンド トゥルース ラベルを合成する画像生成パイプラインを提案します。
後続の深層学習 (DL) タスクのために画像に人によるラベル付けを行います。
提案された方法は、心臓の詳細な解剖学的セグメンテーションをグラウンド トゥルース ラベル ソースとして利用します。
この最初のデータセットは、実際の 3D 心エコー画像で構成される 2 番目のデータセットと結合され、敵対的生成ネットワーク (GAN) をトレーニングして、グランド トゥルース ラベルとペアになった現実的な 3D 心血管超音波画像を合成します。
合成 3D データセットを生成するために、トレーニング済み GAN はコンピューター断層撮影 (CT) からの高解像度の解剖学的モデルを入力として使用します。
合成画像の定性分析により、心臓の主要な構造がよく描写されており、解剖学的モデルから得られたラベルに厳密に従っていることがわかりました。
DL タスクに対するこれらの合成画像の有用性を評価するために、左心室、左心房、心筋の輪郭を描くようにセグメンテーション アルゴリズムをトレーニングしました。
合成画像でトレーニングされたモデルによって与えられる 3D セグメンテーションの定量的分析により、この GAN アプローチを 3D 合成データを生成し、そのデータを使用してさまざまな臨床タスク用の DL モデルをトレーニングし、その結果、画像の不足の問題に取り組むことができる可能性が示されました。
3D ラベル付き心エコー検査データセット。

要約(オリジナル)

Due to privacy issues and limited amount of publicly available labeled datasets in the domain of medical imaging, we propose an image generation pipeline to synthesize 3D echocardiographic images with corresponding ground truth labels, to alleviate the need for data collection and for laborious and error-prone human labeling of images for subsequent Deep Learning (DL) tasks. The proposed method utilizes detailed anatomical segmentations of the heart as ground truth label sources. This initial dataset is combined with a second dataset made up of real 3D echocardiographic images to train a Generative Adversarial Network (GAN) to synthesize realistic 3D cardiovascular Ultrasound images paired with ground truth labels. To generate the synthetic 3D dataset, the trained GAN uses high resolution anatomical models from Computed Tomography (CT) as input. A qualitative analysis of the synthesized images showed that the main structures of the heart are well delineated and closely follow the labels obtained from the anatomical models. To assess the usability of these synthetic images for DL tasks, segmentation algorithms were trained to delineate the left ventricle, left atrium, and myocardium. A quantitative analysis of the 3D segmentations given by the models trained with the synthetic images indicated the potential use of this GAN approach to generate 3D synthetic data, use the data to train DL models for different clinical tasks, and therefore tackle the problem of scarcity of 3D labeled echocardiography datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google