Lossless Transformations and Excess Risk Bounds in Statistical Inference

要約

統計的推論における超過最小リスクを研究します。これは、観測された特徴ベクトルから確率変数を推定する際の最小期待損失と、特徴ベクトルの変換 (統計) から同じ確率変数を推定する際の最小期待損失との差として定義されます。
。
可逆変換、つまり、すべての損失関数について超過リスクがゼロである変換を特徴付けた後、特定の変換が可逆であるという仮説に対する分割検定統計量を構築し、i.i.d の場合はそれを示します。
テストのデータには強い一貫性があります。
より一般的には、かなり一般的な損失関数のクラスにわたって均一に保持される超過リスクに関する情報理論上の上限を開発します。
これらの限界に基づいて、デルタロスレス変換の概念を導入し、特定の変換が普遍的にデルタロスレスとなるための十分な条件を与えます。
分類、ノンパラメトリック回帰、ポートフォリオ戦略、情報ボトルネック、深層学習への応用も調査されています。

要約(オリジナル)

We study the excess minimum risk in statistical inference, defined as the difference between the minimum expected loss in estimating a random variable from an observed feature vector and the minimum expected loss in estimating the same random variable from a transformation (statistic) of the feature vector. After characterizing lossless transformations, i.e., transformations for which the excess risk is zero for all loss functions, we construct a partitioning test statistic for the hypothesis that a given transformation is lossless and show that for i.i.d. data the test is strongly consistent. More generally, we develop information-theoretic upper bounds on the excess risk that uniformly hold over fairly general classes of loss functions. Based on these bounds, we introduce the notion of a delta-lossless transformation and give sufficient conditions for a given transformation to be universally delta-lossless. Applications to classification, nonparametric regression, portfolio strategies, information bottleneck, and deep learning, are also surveyed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google