The NCI Imaging Data Commons as a platform for reproducible research in computational pathology

要約

背景と目的: 再現性は、計算病理学 (CompPath) における機械学習 (ML) ベースのソリューションを開発する際の大きな課題です。
NCI Imaging Data Commons (IDC) は、FAIR 原則に従って 120 を超えるがん画像コレクションを提供し、クラウド ML サービスで使用するように設計されています。
ここでは、CompPath 研究の再現性を促進するその可能性を探ります。
方法: IDC を使用して、肺腫瘍組織を分類するための代表的な ML ベースの方法を異なるデータセットでトレーニングおよび/または評価する 2 つの実験を実施しました。
再現性を評価するために、共通の ML サービスの別々ではあるが同一に構成されたインスタンスを使用して実験が複数回実行されました。
結果: 同じ実験の異なる実行の AUC 値は、一般に一貫していました。
ただし、AUC 値には最大 0.045 という小さな変動が観察され、再現性の実際的な限界が示されました。
結論: IDC は、(i) 研究者がまったく同じデータセットを再利用できるようにすることで、(ii) クラウド ML サービスと統合して同一構成のコンピューティング環境で実験を実行できるようにすることで、CompPath 研究の再現性限界に近づくことを促進すると結論付けています。

要約(オリジナル)

Background and Objectives: Reproducibility is a major challenge in developing machine learning (ML)-based solutions in computational pathology (CompPath). The NCI Imaging Data Commons (IDC) provides >120 cancer image collections according to the FAIR principles and is designed to be used with cloud ML services. Here, we explore its potential to facilitate reproducibility in CompPath research. Methods: Using the IDC, we implemented two experiments in which a representative ML-based method for classifying lung tumor tissue was trained and/or evaluated on different datasets. To assess reproducibility, the experiments were run multiple times with separate but identically configured instances of common ML services. Results: The AUC values of different runs of the same experiment were generally consistent. However, we observed small variations in AUC values of up to 0.045, indicating a practical limit to reproducibility. Conclusions: We conclude that the IDC facilitates approaching the reproducibility limit of CompPath research (i) by enabling researchers to reuse exactly the same datasets and (ii) by integrating with cloud ML services so that experiments can be run in identically configured computing environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google