AMUSE: Adaptive Model Updating using a Simulated Environment

要約

予測モデルは、基礎となるデータ分布が時間の経過とともに変化し、パフォーマンスが低下するコンセプト ドリフトという課題に頻繁に直面します。
例には、ローンのデフォルトを予測するモデルや、医療関連で使用されるモデルが含まれます。
一般的な管理戦略には、定期的なモデルの更新、またはコンセプト ドリフトの検出によってトリガーされる更新が含まれます。
ただし、これらの単純なポリシーでは、モデル更新のコストと分類器のパフォーマンスの向上のバランスが必ずしも取れません。
我々は、分類器の更新タイミングを決定するために、シミュレートされたデータ生成環境内で訓練された強化学習を利用する新しい方法である AMUSE (Adaptive Model Updating using a Simulated Environment) を紹介します。
最適な更新ポリシーは、現在のデータ生成プロセスと進行中のドリフト プロセスによって異なります。
私たちの重要なアイデアは、起こり得るドリフト パターンの予想を表すパラメトリック モデルによってドリフトの起こり得るエピソードをシミュレートするトレーニング環境を作成することで、任意に複雑なモデル更新ポリシーをトレーニングできるということです。
その結果、AMUSE は推定されたパフォーマンス向上に基づいて積極的にアップデートを推奨し、モデルのパフォーマンスの維持とアップデート コストの最小限化のバランスを取るポリシーを学習します。
経験的な結果により、シミュレーション データにおける AMUSE の有効性が確認されています。

要約(オリジナル)

Prediction models frequently face the challenge of concept drift, in which the underlying data distribution changes over time, weakening performance. Examples can include models which predict loan default, or those used in healthcare contexts. Typical management strategies involve regular model updates or updates triggered by concept drift detection. However, these simple policies do not necessarily balance the cost of model updating with improved classifier performance. We present AMUSE (Adaptive Model Updating using a Simulated Environment), a novel method leveraging reinforcement learning trained within a simulated data generating environment, to determine update timings for classifiers. The optimal updating policy depends on the current data generating process and ongoing drift process. Our key idea is that we can train an arbitrarily complex model updating policy by creating a training environment in which possible episodes of drift are simulated by a parametric model, which represents expectations of possible drift patterns. As a result, AMUSE proactively recommends updates based on estimated performance improvements, learning a policy that balances maintaining model performance with minimizing update costs. Empirical results confirm the effectiveness of AMUSE in simulated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google