Assessing Robustness of Machine Learning Models using Covariate Perturbations

要約

機械学習モデルが、金融、ヘルスケアなどの分野における重要な意思決定モデルやシステムにおいてますます普及するにつれて、敵対的な攻撃や入力データの変化に対するロバスト性を確保することは、特にモデルがオーバーフィットする可能性がある場合に最も重要である。本論文では、共変量摂動技術によって機械学習モデルのロバスト性を評価する包括的なフレームワークを提案する。ロバスト性を評価するための様々な摂動戦略を検討し、数値変数と非数値変数に対する個別の戦略、異なるシナリオ間でモデルのロバスト性を評価・比較するための摂動のサマリー、モデルが特に不安定なデータ領域を特定するための局所的なロバスト性診断など、モデル予測への影響を検証する。実世界のデータセットを用いた実証研究を通じて、モデル間のロバストネスの比較、モデルの不安定性の特定、モデルのロバストネスの向上における本アプローチの有効性を実証する。

要約(オリジナル)

As machine learning models become increasingly prevalent in critical decision-making models and systems in fields like finance, healthcare, etc., ensuring their robustness against adversarial attacks and changes in the input data is paramount, especially in cases where models potentially overfit. This paper proposes a comprehensive framework for assessing the robustness of machine learning models through covariate perturbation techniques. We explore various perturbation strategies to assess robustness and examine their impact on model predictions, including separate strategies for numeric and non-numeric variables, summaries of perturbations to assess and compare model robustness across different scenarios, and local robustness diagnosis to identify any regions in the data where a model is particularly unstable. Through empirical studies on real world dataset, we demonstrate the effectiveness of our approach in comparing robustness across models, identifying the instabilities in the model, and enhancing model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL