An Improved Algorithm for Learning Drifting Discrete Distributions

要約

分布ドリフトの下で離散分布を学習するための新しい適応アルゴリズムを提案します。
この設定では、時間の経過とともに変化する離散分布からの一連の独立したサンプルを観察し、目標は現在の分布を推定することです。
各タイム ステップでアクセスできるサンプルは 1 つだけであるため、適切な推定を行うには、使用する過去のサンプルの数を慎重に選択する必要があります。
より多くのサンプルを使用するには、さらに過去のサンプルに頼る必要があり、分布の変化によって導入されたバイアスによりドリフト エラーが発生します。
一方、少数の過去のサンプルを使用すると、推定の分散が大きくなるため、大きな統計誤差が生じます。
ドリフトに関する事前知識がなくても、このトレードオフを解決できる新しい適応アルゴリズムを提案します。
以前の適応結果とは異なり、私たちのアルゴリズムはデータ依存の境界を使用して統計誤差を特徴付けます。
この技術により、サイズが事前にわかっていて時間の経過とともに変化しない固定の有限サポートを必要とする以前の研究の制限を克服することができます。
さらに、ドリフト分布の複雑さに応じてより厳密な境界を取得でき、無限サポートを持つ分布も考慮できます。

要約(オリジナル)

We present a new adaptive algorithm for learning discrete distributions under distribution drift. In this setting, we observe a sequence of independent samples from a discrete distribution that is changing over time, and the goal is to estimate the current distribution. Since we have access to only a single sample for each time step, a good estimation requires a careful choice of the number of past samples to use. To use more samples, we must resort to samples further in the past, and we incur a drift error due to the bias introduced by the change in distribution. On the other hand, if we use a small number of past samples, we incur a large statistical error as the estimation has a high variance. We present a novel adaptive algorithm that can solve this trade-off without any prior knowledge of the drift. Unlike previous adaptive results, our algorithm characterizes the statistical error using data-dependent bounds. This technicality enables us to overcome the limitations of the previous work that require a fixed finite support whose size is known in advance and that cannot change over time. Additionally, we can obtain tighter bounds depending on the complexity of the drifting distribution, and also consider distributions with infinite support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google