Estimation of discrete distributions in relative entropy, and the deviations of the missing mass

要約

I.I.D.からの有限アルファベット上の分布を推定する問題を研究しています。
サンプル。相対エントロピー（Kullback-Leibler発散）で測定された精度を備えたサンプル。
最適な予想されるリスク境界は知られていますが、高度な保証はまだ理解されていません。
まず、古典的なラプラス（追加$ 1 $）推定器を分析し、そのパフォーマンスで一致する上限と下限を取得し、信頼非依存の推定器間でその最適性を示します。
次に、単純な信頼依存スムージング技術を介して達成される推定器が達成できる最新の最適性の高い高度性リスクを特徴付けます。
興味深いことに、最適な非症状のリスクには、理想的な漸近リスクに対する追加の対数因子が含まれています。
次に、アルファベットがサンプルサイズを超えるシナリオに動機付けられているため、手元の分布のスパース性に適応する方法を調査します。
データ依存性のスムージングを使用して推定器を導入します。このスムージングは​​、2つの効果的なスパース性パラメーターに応じて、縛られた高度のリスクを確立します。
分析の一環として、不足している質量の鋭い高速性の上限も導き出します。

要約(オリジナル)

We study the problem of estimating a distribution over a finite alphabet from an i.i.d. sample, with accuracy measured in relative entropy (Kullback-Leibler divergence). While optimal expected risk bounds are known, high-probability guarantees remain less well-understood. First, we analyze the classical Laplace (add-$1$) estimator, obtaining matching upper and lower bounds on its performance and showing its optimality among confidence-independent estimators. We then characterize the minimax-optimal high-probability risk achievable by any estimator, which is attained via a simple confidence-dependent smoothing technique. Interestingly, the optimal non-asymptotic risk contains an additional logarithmic factor over the ideal asymptotic risk. Next, motivated by scenarios where the alphabet exceeds the sample size, we investigate methods that adapt to the sparsity of the distribution at hand. We introduce an estimator using data-dependent smoothing, for which we establish a high-probability risk bound depending on two effective sparsity parameters. As part of the analysis, we also derive a sharp high-probability upper bound on the missing mass.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google