Spurious Correlations in Concept Drift: Can Explanatory Interaction Help?

要約

長時間実行される機械学習モデルは、時間の経過とともにデータ分布が変化し、予測パフォーマンスが低下するというコンセプト ドリフト (CD) の問題に直面しています。
モデルを更新するには、データやモデルの予期しない変更を監視してドリフトを検出する必要があります。
ただし、偽相関 (SC) によって、検出アルゴリズムによって追跡される統計が損なわれる可能性があることを示します。
これを動機として、モデルの説明を活用して潜在的な SC を特定し、それを修正するための人的フィードバックを利用する新しい検出器である ebc-exstream を紹介します。
エントロピーベースのヒューリスティックを利用して必要なフィードバックの量を減らし、アノテーションのコストを削減します。
人工的に交絡させたデータに関する私たちの予備実験は、検出に対する SC の影響を軽減するための ebc-exstream の可能性を強調しています。

要約(オリジナル)

Long-running machine learning models face the issue of concept drift (CD), whereby the data distribution changes over time, compromising prediction performance. Updating the model requires detecting drift by monitoring the data and/or the model for unexpected changes. We show that, however, spurious correlations (SCs) can spoil the statistics tracked by detection algorithms. Motivated by this, we introduce ebc-exstream, a novel detector that leverages model explanations to identify potential SCs and human feedback to correct for them. It leverages an entropy-based heuristic to reduce the amount of necessary feedback, cutting annotation costs. Our preliminary experiments on artificially confounded data highlight the promise of ebc-exstream for reducing the impact of SCs on detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google