Curating Naturally Adversarial Datasets for Trustworthy AI in Healthcare

要約

ディープラーニングモデルは、時系列ヘルスケアアプリケーションにおいて有望な予測精度を示している。しかし、これらのモデルのロバスト性を確保することは、信頼できるAIシステムを構築するために不可欠である。既存の研究では、クリーンな入力データに知覚できない摂動を加えることによって作成された、合成敵対的な例に対する頑健性に主に焦点が当てられている。しかし、このような合成敵対的事例は、特にヘルスケアデータの文脈では、最も困難な実世界のシナリオを正確に反映していない。その結果、合成された敵対的な例に対する頑健性は、信頼できるAIにとって非常に望ましい、自然に発生する敵対的な例に対する頑健性に必ずしも結びつかない可能性がある。我々は、モデルの頑健性を評価するために、自然な敵対的事例で構成されるデータセットをキュレートする方法を提案する。本手法は、ノイズの少ない安価なラベリングヒューリスティックを組み合わせた、自動化された弱い教師付きラベリングから得られる確率的ラベルに依存する。これらのラベルに基づき、本手法は入力データを敵対的に順序付けし、この順序付けを用いて、次第に敵対的になる一連のデータセットを構築する。6つの医療ケーススタディと3つの非医療ケーススタディを用いた評価により、自然に敵対的なデータセットを生成する我々のアプローチの有効性と統計的妥当性が実証された。

要約(オリジナル)

Deep learning models have shown promising predictive accuracy for time-series healthcare applications. However, ensuring the robustness of these models is vital for building trustworthy AI systems. Existing research predominantly focuses on robustness to synthetic adversarial examples, crafted by adding imperceptible perturbations to clean input data. However, these synthetic adversarial examples do not accurately reflect the most challenging real-world scenarios, especially in the context of healthcare data. Consequently, robustness to synthetic adversarial examples may not necessarily translate to robustness against naturally occurring adversarial examples, which is highly desirable for trustworthy AI. We propose a method to curate datasets comprised of natural adversarial examples to evaluate model robustness. The method relies on probabilistic labels obtained from automated weakly-supervised labeling that combines noisy and cheap-to-obtain labeling heuristics. Based on these labels, our method adversarially orders the input data and uses this ordering to construct a sequence of increasingly adversarial datasets. Our evaluation on six medical case studies and three non-medical case studies demonstrates the efficacy and statistical validity of our approach to generating naturally adversarial datasets

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL