Integration of nested cross-validation, automated hyperparameter optimization, high-performance computing to reduce and quantify the variance of test performance estimation of deep learning models

要約

医療イメージングのためのディープラーニングモデルの実際のパフォーマンスベンチマークの変動とバイアスは、実際の展開に対する信頼性を損なうことを妥協します。
単一の固定テストセットを保持する一般的なアプローチは、テストパフォーマンスメトリックの推定の分散を定量化できません。
この研究では、深い学習モデルのテストパフォーマンスメトリックの分散を減らして定量化するために、ナチョス（ネストされた自動化された交差検証とハイパーパラメーターの最適化）を紹介します。
Nachosは、並列化された高性能コンピューティング（HPC）フレームワーク内で、ネストされた交差検証（NCV）と自動化ハイパーパラメーター最適化（AHPO）を統合します。
ナチョスは、複数のデータパーティションスキームの下で、胸部X線リポジトリと光コヒーレンス断層撮影（OCT）データセットで実証されました。
パフォーマンスの推定を超えて、ダコス（スーパーコンピューティングを使用した自動化された交差検証とハイパーパラメーターの最適化による展開）がAHPOと交差検証を活用して、完全なデータセットで最終モデルを構築し、予想される展開パフォーマンスを改善します。
この調査結果は、推定の分散を定量化および削減する際のNCV、テストの折り目全体で一貫してハイパーパラメーターを最適化する際のAHPO、および計算の実現可能性を確保するためのHPCの重要性を強調しています。
これらの方法論を統合することにより、NachosとDachosは、医療イメージングにおけるDLモデルの評価と展開のためのスケーラブルで再現可能な、信頼できるフレームワークを提供します。

要約(オリジナル)

The variability and biases in the real-world performance benchmarking of deep learning models for medical imaging compromise their trustworthiness for real-world deployment. The common approach of holding out a single fixed test set fails to quantify the variance in the estimation of test performance metrics. This study introduces NACHOS (Nested and Automated Cross-validation and Hyperparameter Optimization using Supercomputing) to reduce and quantify the variance of test performance metrics of deep learning models. NACHOS integrates Nested Cross-Validation (NCV) and Automated Hyperparameter Optimization (AHPO) within a parallelized high-performance computing (HPC) framework. NACHOS was demonstrated on a chest X-ray repository and an Optical Coherence Tomography (OCT) dataset under multiple data partitioning schemes. Beyond performance estimation, DACHOS (Deployment with Automated Cross-validation and Hyperparameter Optimization using Supercomputing) is introduced to leverage AHPO and cross-validation to build the final model on the full dataset, improving expected deployment performance. The findings underscore the importance of NCV in quantifying and reducing estimation variance, AHPO in optimizing hyperparameters consistently across test folds, and HPC in ensuring computational feasibility. By integrating these methodologies, NACHOS and DACHOS provide a scalable, reproducible, and trustworthy framework for DL model evaluation and deployment in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google