medigan: a Python library of pretrained generative models for medical image synthesis

要約

生成モデルによって生成された合成データは、医療画像処理におけるデータを大量に消費するディープ ラーニング モデルのパフォーマンスと機能を強化できます。
ただし、(1) (合成) データセットの可用性が限られていること、および (2) 生成モデルのトレーニングが複雑であることから、研究や臨床応用への採用が妨げられています。
この参入障壁を減らすために、オープンソースのフレームワークに依存しない Python ライブラリとして実装された、事前トレーニング済みの生成モデルのワンストップ ショップである medigan を提案します。
medigan を使用すると、研究者や開発者は、わずか数行のコードでトレーニング データを作成、増加、およびドメインに適応させることができます。
収集されたエンドユーザーの要件に基づく設計上の決定に基づいて、生成モデル (i) 実行、(ii) 視覚化、(iii) 検索とランキング、および (iv) 貢献のためのモジュラー コンポーネントに基づいてメディガンを実装します。
ライブラリのスケーラビリティと設計は、マンモグラフィ、内視鏡検査、X 線、および
MRI。
さらに、medigan の 3 つのアプリケーションがこの作業で分析されます。これには、(a) 制限されたデータのコミュニティ全体での共有の有効化、(b) 生成モデル評価指標の調査、および (c) 臨床下流タスクの改善が含まれます。
(b) では、一般的な医用画像合成の評価とレポート基準を拡張して、画像の正規化と放射線学固有の特徴抽出に基づくフレチェット開始距離の変動性を示します。

要約(オリジナル)

Synthetic data generated by generative models can enhance the performance and capabilities of data-hungry deep learning models in medical imaging. However, there is (1) limited availability of (synthetic) datasets and (2) generative models are complex to train, which hinders their adoption in research and clinical applications. To reduce this entry barrier, we propose medigan, a one-stop shop for pretrained generative models implemented as an open-source framework-agnostic Python library. medigan allows researchers and developers to create, increase, and domain-adapt their training data in just a few lines of code. Guided by design decisions based on gathered end-user requirements, we implement medigan based on modular components for generative model (i) execution, (ii) visualisation, (iii) search & ranking, and (iv) contribution. The library’s scalability and design is demonstrated by its growing number of integrated and readily-usable pretrained generative models consisting of 21 models utilising 9 different Generative Adversarial Network architectures trained on 11 datasets from 4 domains, namely, mammography, endoscopy, x-ray, and MRI. Furthermore, 3 applications of medigan are analysed in this work, which include (a) enabling community-wide sharing of restricted data, (b) investigating generative model evaluation metrics, and (c) improving clinical downstream tasks. In (b), extending on common medical image synthesis assessment and reporting standards, we show Fr\’echet Inception Distance variability based on image normalisation and radiology-specific feature extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google