A Broad Ensemble Learning System for Drifting Stream Classification

要約

データ ストリーム環境では、分類モデルは概念のドリフトを効率的かつ効果的に処理する必要があります。
アンサンブル法は、この目的のために広く使用されています。
ただし、文献で入手できるものは、大きなデータ チャンクを使用してモデルを更新するか、データを 1 つずつ学習します。
前者の場合、モデルはデータ分布の変化を見逃す可能性があり、後者の場合、モデルは非効率で不安定になる可能性があります。
これらの問題に対処するために、Broad Learning System (BLS) に基づく新しいアンサンブル アプローチを導入します。このアプローチでは、各更新でミニ チャンクが使用されます。
BLS は、増分学習用に最近開発された効果的な軽量ニューラル アーキテクチャです。
高速ですが、効果的な更新には膨大なデータ チャンクが必要であり、データ ストリームで観察される動的な変化を処理することはできません。
Broad Ensemble Learning System (BELS) という名前の提案されたアプローチは、クラス最高のモデル精度を大幅に向上させる新しい更新方法を使用します。
出力レイヤーのアンサンブルを使用して、BLS の制限に対処し、ドリフトを処理します。
私たちのモデルは、アンサンブル コンポーネントの精度の変化を追跡し、これらの変化に反応します。
BELS の数学的導出を提示し、さまざまなドリフト タイプに対するモデルの適応性を示す 20 のデータセットを使用して包括的な実験を実行し、提案されたモデルのハイパーパラメータとアブレーション分析を提供します。
私たちの実験では、提案されたアプローチが 9 つの最先端のベースラインよりも優れており、平均先行精度に関して 13.28% の全体的な改善を提供することが示されています。

要約(オリジナル)

In a data stream environment, classification models must handle concept drift efficiently and effectively. Ensemble methods are widely used for this purpose; however, the ones available in the literature either use a large data chunk to update the model or learn the data one by one. In the former, the model may miss the changes in the data distribution, and in the latter, the model may suffer from inefficiency and instability. To address these issues, we introduce a novel ensemble approach based on the Broad Learning System (BLS), where mini chunks are used at each update. BLS is an effective lightweight neural architecture recently developed for incremental learning. Although it is fast, it requires huge data chunks for effective updates, and is unable to handle dynamic changes observed in data streams. Our proposed approach named Broad Ensemble Learning System (BELS) uses a novel updating method that significantly improves best-in-class model accuracy. It employs an ensemble of output layers to address the limitations of BLS and handle drifts. Our model tracks the changes in the accuracy of the ensemble components and react to these changes. We present the mathematical derivation of BELS, perform comprehensive experiments with 20 datasets that demonstrate the adaptability of our model to various drift types, and provide hyperparameter and ablation analysis of our proposed model. Our experiments show that the proposed approach outperforms nine state-of-the-art baselines and supplies an overall improvement of 13.28% in terms of average prequential accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google