Detecting Concept Drift in Neural Networks Using Chi-squared Goodness of Fit Testing

要約

深い学習モデルの採用は、検証のために人間の能力を超えて成長しているため、信頼できるモデル推論を確保するためにメタアルゴリズムが必要です。
概念ドリフト検出は、トレーニングデータから分岐する分布特性を持つ推論データに遭遇する可能性のあるニューラルネットワークの監視で十分に活用されていない統計シフトを特定することに専念するフィールドです。
さまざまなモデルアーキテクチャ、アプリケーション、およびデータセットを考えると、概念ドリフト検出アルゴリズムが異なる推論シナリオに適応できることが重要です。
このホワイトペーパーでは、$ \ chi^2 $の適合仮説検定の適用を紹介します。マルチレイヤーパーセプトロンに適用されるドリフト検出メタアルゴリズム、畳み込みニューラルネットワーク、および推論中にシミュレートされたドリフトにさらされているため、機械視のために訓練された変圧器を紹介します。
そのために、推論出力を直接調べることなく、概念ドリフトによる精度が予期しない精度をどのように検出できるかを示します。
私たちのアプローチは、さまざまな条件での信頼性についてモデルが継続的に評価されるようにすることにより、安全性を高めます。

要約(オリジナル)

As the adoption of deep learning models has grown beyond human capacity for verification, meta-algorithms are needed to ensure reliable model inference. Concept drift detection is a field dedicated to identifying statistical shifts that is underutilized in monitoring neural networks that may encounter inference data with distributional characteristics diverging from their training data. Given the wide variety of model architectures, applications, and datasets, it is important that concept drift detection algorithms are adaptable to different inference scenarios. In this paper, we introduce an application of the $\chi^2$ Goodness of Fit Hypothesis Test as a drift detection meta-algorithm applied to a multilayer perceptron, a convolutional neural network, and a transformer trained for machine vision as they are exposed to simulated drift during inference. To that end, we demonstrate how unexpected drops in accuracy due to concept drift can be detected without directly examining the inference outputs. Our approach enhances safety by ensuring models are continually evaluated for reliability across varying conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google