The NCI Imaging Data Commons as a platform for reproducible research in computational pathology

要約

目的: 計算病理学 (CompPath) における機械学習ベース (ML) のソリューションを実践に移すには、再現性が重要です。
ただし、ますます多くの研究が、ML の結果を再現することが困難であると報告しています。
NCI Imaging Data Commons (IDC) は、クラウドベースの ML サービスで使用するように設計された、38,000 を超えるスライド全体の画像 (WSI) を含む、120 を超えるがん画像コレクションの公開リポジトリです。
ここでは、CompPath 研究の再現性を促進する IDC の可能性を探ります。
材料と方法: IDC は FAIR の原則を実現しています。すべての画像は DICOM 標準に従ってエンコードされ、永続的に識別され、豊富なメタデータを介して発見可能であり、オープン ツールを介してアクセスできます。
これを利用して、肺腫瘍組織を分類するための代表的な ML ベースの方法を、IDC のさまざまなデータセットでトレーニングおよび/または評価する 2 つの実験を実装しました。
再現性を評価するために、共通の ML サービスの独立した同じ構成のセッションを使用して実験を複数回実行しました。
結果: 同じ実験の異なる実行の AUC 値は、一般的に一貫しており、同様の以前に発表された研究と同じ大きさでした。
ただし、AUC 値には最大 0.044 の小さな変動が時折あり、再現性の実際的な限界を示しています。
考察と結論: FAIR の原則を実現することで、IDC は他の研究者がまったく同じデータセットを再利用できるようにします。
クラウドベースの ML サービスにより、他のユーザーは高性能ハードウェアを所有することなく、同一構成のコンピューティング環境で CompPath 実験を実行できます。
両方の組み合わせにより、再現性の限界に近づくことができます。

要約(オリジナル)

Objective: Reproducibility is critical for translating machine learning-based (ML) solutions in computational pathology (CompPath) into practice. However, an increasing number of studies report difficulties in reproducing ML results. The NCI Imaging Data Commons (IDC) is a public repository of >120 cancer image collections, including >38,000 whole-slide images (WSIs), that is designed to be used with cloud-based ML services. Here, we explore the potential of the IDC to facilitate reproducibility of CompPath research. Materials and Methods: The IDC realizes the FAIR principles: All images are encoded according to the DICOM standard, persistently identified, discoverable via rich metadata, and accessible via open tools. Taking advantage of this, we implemented two experiments in which a representative ML-based method for classifying lung tumor tissue was trained and/or evaluated on different datasets from the IDC. To assess reproducibility, the experiments were run multiple times with independent but identically configured sessions of common ML services. Results: The AUC values of different runs of the same experiment were generally consistent and in the same order of magnitude as a similar, previously published study. However, there were occasional small variations in AUC values of up to 0.044, indicating a practical limit to reproducibility. Discussion and conclusion: By realizing the FAIR principles, the IDC enables other researchers to reuse exactly the same datasets. Cloud-based ML services enable others to run CompPath experiments in an identically configured computing environment without having to own high-performance hardware. The combination of both makes it possible to approach the reproducibility limit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google