Automatic dataset shift identification to support root cause analysis of AI performance drift

要約

データ分散の変化は、臨床 AI モデルのパフォーマンスに大きな悪影響を与える可能性があります。
したがって、展開時にそのようなシフトの存在を検出するためのさまざまな方法が開発されてきました。
ただし、データセット シフトの根本原因はさまざまであり、シフト緩和戦略の選択は、テスト時に発生する正確なシフトの種類に大きく依存します。
したがって、テスト時のデータセットのシフトを検出するだけでは十分ではありません。どのタイプのシフトが発生したかを正確に特定することが重要です。
この研究では、有病率シフト (ラベル分布の変化によって引き起こされる)、共変量シフト (入力特性の変化によって引き起こされる)、混合シフト (有病率と共変量シフトの同時発生) を効果的に区別する、最初の教師なしデータセット シフト識別フレームワークを提案します。
）。
微妙な共変量シフトを検出するための自己教師ありエンコーダーの重要性について議論し、自己教師ありエンコーダーとタスク モデル出力の両方を活用してシフト検出を改善する新しいシフト検出器を提案します。
我々は、公開されている 4 つの大規模なデータセットを使用して、5 種類の実世界のデータセット シフトに関する 3 つの異なる画像モダリティ (胸部 X 線撮影、デジタル マンモグラフィー、網膜眼底画像) にわたる提案されたシフト識別フレームワークの有望な結果を報告します。

要約(オリジナル)

Shifts in data distribution can substantially harm the performance of clinical AI models. Hence, various methods have been developed to detect the presence of such shifts at deployment time. However, root causes of dataset shifts are varied, and the choice of shift mitigation strategies is highly dependent on the precise type of shift encountered at test time. As such, detecting test-time dataset shift is not sufficient: precisely identifying which type of shift has occurred is critical. In this work, we propose the first unsupervised dataset shift identification framework, effectively distinguishing between prevalence shift (caused by a change in the label distribution), covariate shift (caused by a change in input characteristics) and mixed shifts (simultaneous prevalence and covariate shifts). We discuss the importance of self-supervised encoders for detecting subtle covariate shifts and propose a novel shift detector leveraging both self-supervised encoders and task model outputs for improved shift detection. We report promising results for the proposed shift identification framework across three different imaging modalities (chest radiography, digital mammography, and retinal fundus images) on five types of real-world dataset shifts, using four large publicly available datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google