Minimax-optimal and Locally-adaptive Online Nonparametric Regression

要約

一般的な凸損失を使用して敵対的なオンラインノンパラメトリック回帰を研究し、最適なレートを達成するパラメーターのない学習アルゴリズムを提案します。
私たちのアプローチは、h {\ ‘o} lder関数と競合するために木の連鎖を活用し、最適な後悔の境界を確立します。
ノンパラメトリック関数クラスとの競合は困難な場合がありますが、オンラインアルゴリズムが活用できるローカルH {\ ‘o} Lder Continuityなどのローカルパターンを示すことがよくあります。
事前知識がなければ、私たちの方法は、コアチェーンツリー構造を剪定して、ローカルスムーズさの変動に合わせて、異なるh {\ ‘o} lderプロファイルに動的に追跡および適応します。
これにより、敵対的な設定でのオンライン回帰のための局所的に適応的な最適レートを備えた最初の計算効率的なアルゴリズムにつながります。
最後に、これらの概念をブーストフレームワークに拡張する方法について説明し、将来の研究のための有望な方向性を提供します。

要約(オリジナル)

We study adversarial online nonparametric regression with general convex losses and propose a parameter-free learning algorithm that achieves minimax optimal rates. Our approach leverages chaining trees to compete against H{\’o}lder functions and establishes optimal regret bounds. While competing with nonparametric function classes can be challenging, they often exhibit local patterns – such as local H{\’o}lder continuity – that online algorithms can exploit. Without prior knowledge, our method dynamically tracks and adapts to different H{\’o}lder profiles by pruning a core chaining tree structure, aligning itself with local smoothness variations. This leads to the first computationally efficient algorithm with locally adaptive optimal rates for online regression in an adversarial setting. Finally, we discuss how these notions could be extended to a boosting framework, offering promising directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google