All models are local: time to replace external validation with recurrent local validation

要約

タイトル：All models are local: time to replace external validation with recurrent local validation

要約：

– ML（機械学習）モデルの汎用性を確保するためには、しばしば外部検証が推奨されているが、これは汎用性を保証するものでも、クリニカル決定支援ツールとしてのモデルの有用性を保証するものでもない。
– 現在の医療のニーズには、病院、地理、施設によって患者のデータが変化するため、単一の固定モデルのパフォーマンスが大きく変動することがある (特に深層学習モデルが主流となっている場合)。
– 最新のML技術、市場の力、および更新された規制フレームワークにより、個々の展開されたモデルインスタンスの頻繁な更新とモニタリングが可能になっている。
– 外部検証はMLモデルの安全性や有用性を確立するのに不十分であり、外部検証パラダイムを修正する提案は十分ではない。外部検証を最終的なテストとして依存し続けることは、我々を誤った方向に導く可能性がある。
– 我々は、再発性の現地検証を提唱し、モデルの妥当性を保証する代替手段とすることを提案する。このパラダイムは、展開前に現地特有の信頼性テストに依存し、展開アルゴリズムのライフサイクル全体にわたって定期的かつ頻繁なチェックを行うことにより、重要な性能の変動を回避する。初期および再発性の信頼性テストにより、パフォーマンスを妨げる分布シフトや概念の変化を確認して、患者の安全を確保する。

要約(オリジナル)

External validation is often recommended to ensure the generalizability of ML models. However, it neither guarantees generalizability nor equates to a model’s clinical usefulness (the ultimate goal of any clinical decision-support tool). External validation is misaligned with current healthcare ML needs. First, patient data changes across time, geography, and facilities. These changes create significant volatility in the performance of a single fixed model (especially for deep learning models, which dominate clinical ML). Second, newer ML techniques, current market forces, and updated regulatory frameworks are enabling frequent updating and monitoring of individual deployed model instances. We submit that external validation is insufficient to establish ML models’ safety or utility. Proposals to fix the external validation paradigm do not go far enough. Continued reliance on it as the ultimate test is likely to lead us astray. We propose the MLOps-inspired paradigm of recurring local validation as an alternative that ensures the validity of models while protecting against performance-disruptive data variability. This paradigm relies on site-specific reliability tests before every deployment, followed by regular and recurrent checks throughout the life cycle of the deployed algorithm. Initial and recurrent reliability tests protect against performance-disruptive distribution shifts, and concept drifts that jeopardize patient safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI