Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation

要約

医療診断などのリスクに敏感なアプリケーションにニューラル ネットワークを導入するには、正確な不確実性の推定が不可欠です。
モンテカルロ ドロップアウトは、推論中にドロップアウトを伴う確率的前方パスを実行することにより、予測の不確実性を近似するために広く使用されている手法です。
ただし、すべての層と入力にわたって静的なドロップアウト率を使用すると、個々の入力とネットワーク層のさまざまな特性に適応できないため、不確実性の推定値が最適ではなくなる可能性があります。
既存のアプローチは、ラベル付きデータを使用してトレーニング中にドロップアウト率を最適化するため、推論時間パラメータが固定され、新しいデータ分布に調整できず、モンテカルロ シミュレーションにおける不確実性推定が損なわれます。
この論文では、各層の特徴マップにおけるドロップアウトによって引き起こされる情報損失を定量化することにより、推論中にドロップアウト率を動的に調整するアルゴリズムである Rate-In を提案します。
Rate-In は、制御されたノイズ挿入としてドロップアウトを扱い、情報理論の原理を活用することにより、グランド トゥルース ラベルを必要とせずに、レイヤーごとおよび入力インスタンスごとにドロップアウト率を調整します。
特徴マップで機能情報の損失を定量化することで、ドロップアウト率を適応的に調整し、さまざまな医用画像タスクやアーキテクチャ構成にわたって知覚品質を維持します。
合成データと実際の医用画像タスクに関する当社の広範な実証研究は、Rate-In が予測パフォーマンスを損なうことなく、固定またはヒューリスティックなドロップアウト率と比較してキャリブレーションを改善し、不確実性の推定値を鮮明にすることを実証しています。
Rate-In は、クリティカルなアプリケーションにおけるより信頼性の高い予測不確実性推定のためにドロップアウトを最適化する実用的な教師なしの推論時間アプローチを提供します。

要約(オリジナル)

Accurate uncertainty estimation is crucial for deploying neural networks in risk-sensitive applications such as medical diagnosis. Monte Carlo Dropout is a widely used technique for approximating predictive uncertainty by performing stochastic forward passes with dropout during inference. However, using static dropout rates across all layers and inputs can lead to suboptimal uncertainty estimates, as it fails to adapt to the varying characteristics of individual inputs and network layers. Existing approaches optimize dropout rates during training using labeled data, resulting in fixed inference-time parameters that cannot adjust to new data distributions, compromising uncertainty estimates in Monte Carlo simulations. In this paper, we propose Rate-In, an algorithm that dynamically adjusts dropout rates during inference by quantifying the information loss induced by dropout in each layer’s feature maps. By treating dropout as controlled noise injection and leveraging information-theoretic principles, Rate-In adapts dropout rates per layer and per input instance without requiring ground truth labels. By quantifying the functional information loss in feature maps, we adaptively tune dropout rates to maintain perceptual quality across diverse medical imaging tasks and architectural configurations. Our extensive empirical study on synthetic data and real-world medical imaging tasks demonstrates that Rate-In improves calibration and sharpens uncertainty estimates compared to fixed or heuristic dropout rates without compromising predictive performance. Rate-In offers a practical, unsupervised, inference-time approach to optimizing dropout for more reliable predictive uncertainty estimation in critical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google