Prospective Learning: Learning for a Dynamic Future

要約

実際のアプリケーションでは、データの分布と目標が時間とともに進化します。
機械学習を研究するための一般的な理論的枠組み、すなわち、おそらくほぼ正しい（PAC）学習は、ほとんど時間を無視します。
結果として、データと目標の動的な性質に対処するための既存の戦略は、現実世界のパフォーマンスの低下を示します。
このホワイトペーパーでは、最適な仮説が時間とともに変化する状況に合わせて調整された「将来の学習」と呼ばれる理論的枠組みを開発します。
PAC学習では、経験的リスク最小化（ERM）が一貫していることが知られています。
将来のデータを予測する予測因子のシーケンスを返すERM将来のERMと呼ばれる学習者を開発します。
将来のERMのリスクは、データを生成する確率的プロセスに関する特定の仮定の下でベイズリスクに収束することを証明します。
大まかに言えば、将来のERMは、データに加えて入力として時間を組み込みます。
PAC学習で行われた標準のERMは、時間を組み込むことなく、分布が動的であるときに学習に失敗する可能性があることを示しています。
数値実験は、将来のERMがMNISTおよびCIFAR-10から構築された合成および視覚認識の問題を学ぶことができることを示しています。
https://github.com/neurodata/prolearnのコード。

要約(オリジナル)

In real-world applications, the distribution of the data, and our goals, evolve over time. The prevailing theoretical framework for studying machine learning, namely probably approximately correct (PAC) learning, largely ignores time. As a consequence, existing strategies to address the dynamic nature of data and goals exhibit poor real-world performance. This paper develops a theoretical framework called ‘Prospective Learning’ that is tailored for situations when the optimal hypothesis changes over time. In PAC learning, empirical risk minimization (ERM) is known to be consistent. We develop a learner called Prospective ERM, which returns a sequence of predictors that make predictions on future data. We prove that the risk of prospective ERM converges to the Bayes risk under certain assumptions on the stochastic process generating the data. Prospective ERM, roughly speaking, incorporates time as an input in addition to the data. We show that standard ERM as done in PAC learning, without incorporating time, can result in failure to learn when distributions are dynamic. Numerical experiments illustrate that prospective ERM can learn synthetic and visual recognition problems constructed from MNIST and CIFAR-10. Code at https://github.com/neurodata/prolearn.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google