Scalable Drift Monitoring in Medical Imaging AI

要約

医療画像への人工知能 (AI) の統合により、臨床診断は高度化しましたが、モデルのドリフトの管理と長期的な信頼性の確保において課題が生じています。
これらの課題に対処するために、私たちは、マルチモーダル データの一致を使用して医用画像 AI モデルのリアルタイム ドリフト検出を導入した CheXstray フレームワークを基盤として、スケーラブルなドリフト モニタリングのための強化されたフレームワークである MMC+ を開発しました。
この取り組みは、元のフレームワークの方法論を拡張し、実際の医療現場向けに、よりスケーラブルで適応性のあるソリューションを提供し、継続的および定期的な監視方法の両方の制限に対処する、継続的パフォーマンス監視に代わる信頼性が高くコスト効率の高い代替手段を提供します。
MMC+ では、元のフレームワークに重要な改善が導入されています。これには、多様なデータ ストリームのより堅牢な処理、サイト固有のトレーニングを必要としない高次元画像埋め込みのための MedImageInsight などの基礎モデルの統合によるスケーラビリティの向上、ドリフトをより適切に捕捉するための不確実性境界の導入などが含まれます。
動的な臨床環境で。
新型コロナウイルス感染症のパンデミック中にマサチューセッツ総合病院からの実世界データで検証された MMC+ は、重大なデータの変化を効果的に検出し、それらをモデルのパフォーマンスの変化と関連付けます。
MMC+ はパフォーマンスの低下を直接予測するものではありませんが、早期警告システムとして機能し、AI システムが許容可能なパフォーマンスの限界を逸脱する可能性があることを示し、タイムリーな介入を可能にします。
この取り組みは、多様なデータ ストリームを監視し、モデルのパフォーマンスと並行してデータの変化を評価することの重要性を強調することで、臨床現場での AI ソリューションの広範な導入と統合に貢献します。

要約(オリジナル)

The integration of artificial intelligence (AI) into medical imaging has advanced clinical diagnostics but poses challenges in managing model drift and ensuring long-term reliability. To address these challenges, we develop MMC+, an enhanced framework for scalable drift monitoring, building upon the CheXstray framework that introduced real-time drift detection for medical imaging AI models using multi-modal data concordance. This work extends the original framework’s methodologies, providing a more scalable and adaptable solution for real-world healthcare settings and offers a reliable and cost-effective alternative to continuous performance monitoring addressing limitations of both continuous and periodic monitoring methods. MMC+ introduces critical improvements to the original framework, including more robust handling of diverse data streams, improved scalability with the integration of foundation models like MedImageInsight for high-dimensional image embeddings without site-specific training, and the introduction of uncertainty bounds to better capture drift in dynamic clinical environments. Validated with real-world data from Massachusetts General Hospital during the COVID-19 pandemic, MMC+ effectively detects significant data shifts and correlates them with model performance changes. While not directly predicting performance degradation, MMC+ serves as an early warning system, indicating when AI systems may deviate from acceptable performance bounds and enabling timely interventions. By emphasizing the importance of monitoring diverse data streams and evaluating data shifts alongside model performance, this work contributes to the broader adoption and integration of AI solutions in clinical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google