Multi-Modal Dataset Creation for Federated Learning with DICOM Structured Reports

要約

目的: フェデレーテッド トレーニングは、多様なデータ ストレージ オプション、一貫性のない命名スキーム、多様なアノテーション手順、およびラベル品質の格差により、異種データセットによって妨げられることがよくあります。
これは、均一なデータ表現やフィルタリング オプションを含むデータセットの調和が最も重要である、新たなマルチモーダル学習パラダイムで特に顕著です。
方法: DICOM 構造化レポートにより、画像処理ドメインを超えた任意の情報の標準化されたリンクが可能になり、highdicom を使用した Python 深層学習パイプライン内で使用できます。
これに基づいて、マルチモーダル データセットを組み立てるプロセスを簡素化するデータ統合と対話型フィルタリング機能のためのオープン プラットフォームを開発しました。
結果: この研究では、ドイツの 8 つの大学病院からなる確立されたコンソーシアム内での連合トレーニングのためのデータセットの合理化だけでなく、より多くの多様なデータタイプへの適用可能性を示すことで、これまでの研究を拡張しました。
私たちは、低侵襲心臓弁置換術後の結果を予測するために、すべての場所にわたって調和のとれたマルチモーダル データセットを作成することで、その同時フィルタリング能力を証明します。
データには、DICOM データ (コンピューター断層撮影画像、心電図スキャンなど) のほか、注釈 (石灰化セグメンテーション、ポイントセット、ペースメーカー依存関係など)、およびメタデータ (補綴物や診断など) が含まれます。
結論: 構造化レポートは、画像システムと情報システムの間の従来のギャップを埋めます。
固有の DICOM 参照システムを利用して、任意のデータ型を同時にクエリして、臨床研究に意味のあるコホートを作成できます。
グラフィカル インターフェイスと構造化レポート テンプレートの例は一般に公開されます。

要約(オリジナル)

Purpose: Federated training is often hindered by heterogeneous datasets due to divergent data storage options, inconsistent naming schemes, varied annotation procedures, and disparities in label quality. This is particularly evident in the emerging multi-modal learning paradigms, where dataset harmonization including a uniform data representation and filtering options are of paramount importance. Methods: DICOM structured reports enable the standardized linkage of arbitrary information beyond the imaging domain and can be used within Python deep learning pipelines with highdicom. Building on this, we developed an open platform for data integration and interactive filtering capabilities that simplifies the process of assembling multi-modal datasets. Results: In this study, we extend our prior work by showing its applicability to more and divergent data types, as well as streamlining datasets for federated training within an established consortium of eight university hospitals in Germany. We prove its concurrent filtering ability by creating harmonized multi-modal datasets across all locations for predicting the outcome after minimally invasive heart valve replacement. The data includes DICOM data (i.e. computed tomography images, electrocardiography scans) as well as annotations (i.e. calcification segmentations, pointsets and pacemaker dependency), and metadata (i.e. prosthesis and diagnoses). Conclusion: Structured reports bridge the traditional gap between imaging systems and information systems. Utilizing the inherent DICOM reference system arbitrary data types can be queried concurrently to create meaningful cohorts for clinical studies. The graphical interface as well as example structured report templates will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google