Machine Learning Data Suitability and Performance Testing Using Fault Injection Testing Framework

要約

ユーザーの信頼をシームレスに獲得できる本番環境に対応した ML システムを確保するには、回復力のある機械学習 (ML) システムを作成することが必要になっています。
入力データとモデルの品質は、データ重視のシステムにおけるエンドツーエンドのテストの成功に大きく影響します。
ただし、入力データのテスト手法は体系的ではなく、モデルのテストに比べて少数です。
このギャップに対処するために、このペーパーでは、意図的にトリガーされた複数のデータ障害に対する ML モデルの復元力をテストする、入力データの望ましくない学習に対するフォールト インジェクション (FIUL-Data) テスト フレームワークを紹介します。
データ ミューテーターは、さまざまなフォールト インジェクションの影響に対する ML システムの脆弱性を調査します。
提案されたフレームワークは 3 つの主要なアイデアに基づいて設計されています。ミューテーターはランダムではありません。
一度に 1 つのデータ ミューテーターが適用され、選択された ML モデルが事前に最適化されます。
この論文では、アンチセンス オリゴヌクレオチドの保持時間測定を含む分析化学のデータを使用して、FIUL データ フレームワークを評価します。
実証的評価は、データ突然変異に対する選択された ML モデルの応答を個別に分析し、相互に比較する 2 段階のプロセスで実行されます。
結果は、FIUL-Data フレームワークにより ML モデルの復元力の評価が可能であることを示しています。
ほとんどの実験ケースでは、ML モデルは大規模なトレーニング データセットでより高い復元力を示し、小規模なトレーニング セットでは勾配ブーストの方がサポート ベクター回帰よりも優れたパフォーマンスを示します。
全体として、平均二乗誤差メトリクスは、データの突然変異に対する感度が高いため、モデルの回復力を評価するのに役立ちます。

要約(オリジナル)

Creating resilient machine learning (ML) systems has become necessary to ensure production-ready ML systems that acquire user confidence seamlessly. The quality of the input data and the model highly influence the successful end-to-end testing in data-sensitive systems. However, the testing approaches of input data are not as systematic and are few compared to model testing. To address this gap, this paper presents the Fault Injection for Undesirable Learning in input Data (FIUL-Data) testing framework that tests the resilience of ML models to multiple intentionally-triggered data faults. Data mutators explore vulnerabilities of ML systems against the effects of different fault injections. The proposed framework is designed based on three main ideas: The mutators are not random; one data mutator is applied at an instance of time, and the selected ML models are optimized beforehand. This paper evaluates the FIUL-Data framework using data from analytical chemistry, comprising retention time measurements of anti-sense oligonucleotide. Empirical evaluation is carried out in a two-step process in which the responses of selected ML models to data mutation are analyzed individually and then compared with each other. The results show that the FIUL-Data framework allows the evaluation of the resilience of ML models. In most experiments cases, ML models show higher resilience at larger training datasets, where gradient boost performed better than support vector regression in smaller training sets. Overall, the mean squared error metric is useful in evaluating the resilience of models due to its higher sensitivity to data mutation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google