Local Risk Bounds for Statistical Aggregation

要約

集計の問題では、基本予測子の特定のクラスを組み合わせて、最良の予測値とほぼ同じ精度の予測を達成することが目的です。
この柔軟なフレームワークでは、クラスの構造やターゲットの性質についての仮定は行われません。
集計は、逐次的および統計的コンテキストの両方で研究されてきました。
2 つの問題の間にはいくつかの重要な違いがありますが、両方の場合の古典的な結果は、同じグローバルな複雑さの尺度を特徴としています。
この論文では、グローバルな複雑さをより小さな局所的な複雑さに置き換えることによって、統計設定における集計理論の古典的な結果を再検討し、強化します。
私たちの証明の一部は、Catoni によって導入された PAC-Bayes 位置推定技術に基づいて構築されています。
他の結果の中でも、Leung と Barron による指数重み推定量の古典的限界の局所的バージョンと、Q 集合推定量の偏差最適限界を証明します。
これらの範囲は、固定計画回帰に対する Dai、Rigollet、および Zhang の結果、およびランダム計画回帰に対する Lecu\’e および Rigollet の結果よりも改善されています。

要約(オリジナル)

In the problem of aggregation, the aim is to combine a given class of base predictors to achieve predictions nearly as accurate as the best one. In this flexible framework, no assumption is made on the structure of the class or the nature of the target. Aggregation has been studied in both sequential and statistical contexts. Despite some important differences between the two problems, the classical results in both cases feature the same global complexity measure. In this paper, we revisit and tighten classical results in the theory of aggregation in the statistical setting by replacing the global complexity with a smaller, local one. Some of our proofs build on the PAC-Bayes localization technique introduced by Catoni. Among other results, we prove localized versions of the classical bound for the exponential weights estimator due to Leung and Barron and deviation-optimal bounds for the Q-aggregation estimator. These bounds improve over the results of Dai, Rigollet and Zhang for fixed design regression and the results of Lecu\’e and Rigollet for random design regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google