Curating Naturally Adversarial Datasets for Learning-Enabled Medical Cyber-Physical Systems

要約

深層学習モデルは、時系列ヘルスケア アプリケーションに対して有望な予測精度を示しています。
ただし、信頼できる AI システムを構築するには、これらのモデルの堅牢性を確保することが不可欠です。
既存の研究は主に、クリーンな入力データに知覚できない摂動を追加することによって作成された合成敵対的な例に対する堅牢性に焦点を当てています。
ただし、これらの合成された敵対的な例は、特に医療データのコンテキストにおいて、最も困難な現実世界のシナリオを正確に反映していません。
したがって、合成された敵対的な例に対する堅牢性は、必ずしも自然に発生する敵対的な例に対する堅牢性につながるとは限らず、これは信頼できる AI にとって非常に望ましいことです。
モデルの堅牢性を評価するために、自然な敵対的な例で構成されるデータセットを厳選する方法を提案します。
この方法は、ノイズの多いラベル付けヒューリスティックと安価に入手できるラベル付けヒューリスティックを組み合わせた、自動化された弱教師ラベリングから得られる確率的ラベルに依存しています。
これらのラベルに基づいて、私たちのメソッドは入力データを敵対的に順序付けし、この順序を使用して、ますます敵対的になる一連のデータセットを構築します。
6 つの医療ケーススタディと 3 つの非医療ケーススタディに対する私たちの評価は、自然に敵対的なデータセットを生成するための私たちのアプローチの有効性と統計的妥当性を実証しています。

要約(オリジナル)

Deep learning models have shown promising predictive accuracy for time-series healthcare applications. However, ensuring the robustness of these models is vital for building trustworthy AI systems. Existing research predominantly focuses on robustness to synthetic adversarial examples, crafted by adding imperceptible perturbations to clean input data. However, these synthetic adversarial examples do not accurately reflect the most challenging real-world scenarios, especially in the context of healthcare data. Consequently, robustness to synthetic adversarial examples may not necessarily translate to robustness against naturally occurring adversarial examples, which is highly desirable for trustworthy AI. We propose a method to curate datasets comprised of natural adversarial examples to evaluate model robustness. The method relies on probabilistic labels obtained from automated weakly-supervised labeling that combines noisy and cheap-to-obtain labeling heuristics. Based on these labels, our method adversarially orders the input data and uses this ordering to construct a sequence of increasingly adversarial datasets. Our evaluation on six medical case studies and three non-medical case studies demonstrates the efficacy and statistical validity of our approach to generating naturally adversarial datasets

arxiv情報

提供元, 利用サービス

arxiv.jp, Google