Computational Performance Aware Benchmarking of Unsupervised Concept Drift Detection

要約

タイトル：計算パフォーマンスに着目した非教師あり概念漂流検出のベンチマーク評価

要約：
– AIシステムにとって、概念漂流検出はシステムの信頼性を確保するために不可欠である。
– 多くのシステムでは、膨大な量のデータの扱いやリアルタイムでの反応が必要であるため、漂流検出器は綿密なパフォーマンス評価とともに計算要件や制約を満たさなければならない。
– しかし、これまで開発された漂流検出器は、検出品質（正確さ）に重点が置かれており、計算パフォーマンス（実行時間など）は二次的な目標に過ぎず、その評価基準も存在しなかった。
– 本研究では、検出品質と計算パフォーマンスの両方を考慮した漂流検出器の評価基準を提案する。
– 非教師ありの漂流検出器に焦点を当て、様々なAIシステムで適用可能なようにラベル付けされたデータの利用を制限しない漂流検出器について述べる。
– ベンチマークスイートは設定可能な合成データや実世界のデータストリームをサポートし、機械学習モデルの出力をシミュレーションする手段を提供することで、関連する漂流検出器の公平かつ総合的な比較を可能にする。
– ベンチマークスイートは既存のフレームワーク Massive Online Analysis (MOA)に統合されており、2つの代表的な非教師ありの漂流検出器を組み込み、性能を評価した。
– 本研究により、非教師ありの漂流検出器における検出品質と計算パフォーマンスのベースラインを科学的なコミュニティに提供することが可能となった。

要約(オリジナル)

For many AI systems, concept drift detection is crucial to ensure the systems reliability. These systems often have to deal with large amounts of data or react in real time. Thus, drift detectors must meet computational requirements or constraints with a comprehensive performance evaluation. However, so far, the focus of developing drift detectors is on detection quality, e.g.~accuracy, but not on computational performance, such as running time. We show that the previous works consider computational performance only as a secondary objective and do not have a benchmark for such evaluation. Hence, we propose a novel benchmark suite for drift detectors that accounts both detection quality and computational performance to ensure a detector’s applicability in various AI systems. In this work, we focus on unsupervised drift detectors that are not restricted to the availability of labeled data and thus being widely applicable. Our benchmark suite supports configurable synthetic and real world data streams. Moreover, it provides means for simulating a machine learning model’s output to unify the performance evaluation across different drift detectors. This allows a fair and comprehensive comparison of drift detectors proposed in related work. Our benchmark suite is integrated in the existing framework, Massive Online Analysis (MOA). To evaluate our benchmark suite’s capability, we integrate two representative unsupervised drift detectors. Our work enables the scientific community to achieve a baseline for unsupervised drift detectors with respect to both detection quality and computational performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI