Dynamic Online Ensembles of Basis Expansions

要約

実践的なベイジアン学習では、多くの場合、(1) オンライン推論、(2) 動的モデル、および (3) 複数の異なるモデルにわたるアンサンブルが必要になります。
最近の進歩により、ランダム特徴近似を使用して、望ましい理論的特性と実りあるアプリケーションを備えたガウス過程のスケーラブルなオンライン アンサンブルを実現する方法が示されています。
これらの方法の成功の鍵の 1 つは、モデル パラメーターにランダム ウォークを組み込むことです。これにより、モデルが動的になります。
これらの方法は任意の基底展開モデルに簡単に一般化でき、ヒルベルト空間ガウス過程などの代替基底展開を使用すると、多くの場合パフォーマンスが向上することを示します。
特定の基底展開を選択するプロセスを簡素化するために、私たちの方法の一般性により、ガウス過程や多項式回帰など、いくつかのまったく異なるモデルのアンサンブルも可能になります。
最後に、静的モデルと動的モデルをアンサンブルする新しい方法を提案します。

要約(オリジナル)

Practical Bayesian learning often requires (1) online inference, (2) dynamic models, and (3) ensembling over multiple different models. Recent advances have shown how to use random feature approximations to achieve scalable, online ensembling of Gaussian processes with desirable theoretical properties and fruitful applications. One key to these methods’ success is the inclusion of a random walk on the model parameters, which makes models dynamic. We show that these methods can be generalized easily to any basis expansion model and that using alternative basis expansions, such as Hilbert space Gaussian processes, often results in better performance. To simplify the process of choosing a specific basis expansion, our method’s generality also allows the ensembling of several entirely different models, for example, a Gaussian process and polynomial regression. Finally, we propose a novel method to ensemble static and dynamic models together.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google