Outline of an Independent Systematic Blackbox Test for ML-based Systems

要約

この記事では、実際のトレーニング プロセスとは独立して ML モデルと ML ベースのシステムをテストするために使用できるテスト手順を提案します。
このようにして、これらのモデルやシステムの精度や正確さなどの一般的な品質ステートメントは、ブラック ボックスの特性と、ML モデルとそのトレーニング データの内在的な確率的特性を考慮して、独立して検証できます。
この記事では、一連のテスト実験の最初の結果を紹介し、ML モデルと ML ベースのシステムの確率的性質を反映した既存のテスト方法の拡張を提案します。

要約(オリジナル)

This article proposes a test procedure that can be used to test ML models and ML-based systems independently of the actual training process. In this way, the typical quality statements such as accuracy and precision of these models and system can be verified independently, taking into account their black box character and the immanent stochastic properties of ML models and their training data. The article presents first results from a set of test experiments and suggest extensions to existing test methods reflecting the stochastic nature of ML models and ML-based systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google