Preserving privacy in domain transfer of medical AI models comes at no performance costs: The integral role of differential privacy

要約

医療分野で堅牢かつ効果的な人工知能 (AI) モデルを開発するには、大量の患者データにアクセスする必要があります。
大規模な複数施設のデータセットのみでトレーニングされた AI モデルの使用はこれに役立ちますが、特にメンバーシップの推論は患者の機密性を侵害するリスクがあるため、データのプライバシーを確​​保することが不可欠です。
解決策の提案として、私たちは差分プライバシー (DP) の統合を提唱します。
特に、モデルがトレーニング中に見なかった機関からのデータ (つまり、外部検証) について、DP なしでトレーニングされたモデルと比較して、DP でトレーニングされたモデルのパフォーマンスを調査します。これは、AI モデルの臨床使用を反映する状況です。
5 つの施設からの 590,000 枚以上の胸部 X 線写真を活用して、心肥大、胸水、肺炎、無気肺の診断および健康な被験者の特定における DP 拡張ドメイン転移 (DP-DT) の有効性を評価しました。
私たちは、DP-DT と非 DP-DT を並べて、受信者動作特性曲線下面積 (AUC) を主な指標として使用し、精度、感度、特異度を使用して、診断精度と人口統計上の公平性を調べました。
私たちの結果は、DP-DT が、非常に高いプライバシー レベル (イプシロン約 1) であっても、非 DP-DT と同等のパフォーマンスを発揮することを示しています (すべてのドメインで P>0.119)。
さらに、DP-DT は、非 DP-DT と比較して、ほぼすべてのサブグループで AUC の差がわずか (1% 未満) でした。
DP モデルがオンドメイン アプリケーションのパフォーマンスの大幅な低下を引き起こすことを示唆する一貫した証拠にもかかわらず、オフドメインのパフォーマンスはほとんど影響を受けないことを示しています。
したがって、パフォーマンスへの影響が最小限であることを考慮して、診断医療 AI モデルのトレーニングに DP を採用することを強く主張します。

要約(オリジナル)

Developing robust and effective artificial intelligence (AI) models in medicine requires access to large amounts of patient data. The use of AI models solely trained on large multi-institutional datasets can help with this, yet the imperative to ensure data privacy remains, particularly as membership inference risks breaching patient confidentiality. As a proposed remedy, we advocate for the integration of differential privacy (DP). We specifically investigate the performance of models trained with DP as compared to models trained without DP on data from institutions that the model had not seen during its training (i.e., external validation) – the situation that is reflective of the clinical use of AI models. By leveraging more than 590,000 chest radiographs from five institutions, we evaluated the efficacy of DP-enhanced domain transfer (DP-DT) in diagnosing cardiomegaly, pleural effusion, pneumonia, atelectasis, and in identifying healthy subjects. We juxtaposed DP-DT with non-DP-DT and examined diagnostic accuracy and demographic fairness using the area under the receiver operating characteristic curve (AUC) as the main metric, as well as accuracy, sensitivity, and specificity. Our results show that DP-DT, even with exceptionally high privacy levels (epsilon around 1), performs comparably to non-DP-DT (P>0.119 across all domains). Furthermore, DP-DT led to marginal AUC differences – less than 1% – for nearly all subgroups, relative to non-DP-DT. Despite consistent evidence suggesting that DP models induce significant performance degradation for on-domain applications, we show that off-domain performance is almost not affected. Therefore, we ardently advocate for the adoption of DP in training diagnostic medical AI models, given its minimal impact on performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google