Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization

要約

二つの確率密度関数$p$と$q$の差を、利用可能なデータを用いて定量化することは、統計学と機械学習における基本的な問題である。この問題に対処するための一般的なアプローチは、$p$と$q$の間の尤度比推定(LRE)であるが、我々の知る限り、これは主にオフラインの場合について研究されてきた。本論文は、時系列に観測される同値の観測データ$(x_t \sim p, x’_t \sim q)$の組の設定に対して、オンラインノンパラメトリックLRE(OLRE)の新しい枠組みを導入することで貢献する。我々のアプローチのノンパラメトリックな性質は、$p$と$q$の形式にとらわれないという利点がある。さらに、カーネル法と関数最小化の最近の進歩を利用し、オンラインで効率的に更新できる推定量を開発する。OLRE法の性能の理論的保証と、合成実験による実証的検証を行う。

要約(オリジナル)

Quantifying the difference between two probability density functions, $p$ and $q$, using available data, is a fundamental problem in Statistics and Machine Learning. A usual approach for addressing this problem is the likelihood-ratio estimation (LRE) between $p$ and $q$, which — to our best knowledge — has been investigated mainly for the offline case. This paper contributes by introducing a new framework for online non-parametric LRE (OLRE) for the setting where pairs of iid observations $(x_t \sim p, x’_t \sim q)$ are observed over time. The non-parametric nature of our approach has the advantage of being agnostic to the forms of $p$ and $q$. Moreover, we capitalize on the recent advances in Kernel Methods and functional minimization to develop an estimator that can be efficiently updated online. We provide theoretical guarantees for the performance of the OLRE method along with empirical validation in synthetic experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL