High-Dimensional Calibration from Swap Regret

要約

任意の凸セット$ \ mathcal {p} \ subset \ mathbb {r}^d $を並べて、任意の標準$ \ vert \ cdot \ vert $を並べて多次元予測のオンラインキャリブレーションを研究します。
これをオンライン線形最適化のための外部後悔の最小化の問題に接続します。$ o（\ sqrt {\ rho t}）$ t $ラウンドの後に$ o（\ sqrt {\ rho t}）$最悪の後悔を保証することができることを示しています。
$ \ epsilon $ – $ t = \ exp（o（\ rho /\ epsilon^2））$ roundsの後の予測。
$ \ mathcal {p} $が$ d $ -dimensional simplexで、$ \ vert \ cdot \ vert $が$ \ ell_1 $ -normである場合、$ oの存在（\ sqrt {t \ log d}）$ – $ epsilon $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $の存在のためのアルゴリズム
= \ exp（o（\ log {d}/\ epsilon^2））= d^{o（1/\ epsilon^2）} $ラウンド、Peng（2025）の最近の結果を回復します。
興味深いことに、我々のアルゴリズムは、オンライン線形最適化サブルーチンまたは最適なレート$ \ rho $の知識へのアクセスを必要とせずにこの保証を取得します。実際、アルゴリズムは$ \ mathcal {p} $および$ \ vert \ cdot \ vert $のすべての設定と同じです。
代わりに、上記のOLO問題の最適な正規者を使用して、上記のキャリブレーションエラーをスワップ後悔によって上限にすることができることを示します。これは、サブルーチンとしてフォローリーダーを使用して最近のTreesWapアルゴリズムを実行することで最小限に抑えます。
最後に、$ D $ -Dimensional Simplexよりも$ \ Epsilon T $ $ $ \ Ell_1 $–Calibrationエラーを保証するオンラインキャリブレーションアルゴリズムには、$ t \ geq \ exp（\ mathrm {poly}（1/\ epsilon））$（仮定$ d \ geq
\ mathrm {poly}（1/\ epsilon）$）。
これにより、対応する$ d^{\ omega（\ log {1/\ epsilon}）} $下限が強化され、$ 1/\ epsilon $への指数関数的依存が必要であることを示しています。

要約(オリジナル)

We study the online calibration of multi-dimensional forecasts over an arbitrary convex set $\mathcal{P} \subset \mathbb{R}^d$ relative to an arbitrary norm $\Vert\cdot\Vert$. We connect this with the problem of external regret minimization for online linear optimization, showing that if it is possible to guarantee $O(\sqrt{\rho T})$ worst-case regret after $T$ rounds when actions are drawn from $\mathcal{P}$ and losses are drawn from the dual $\Vert \cdot \Vert_*$ unit norm ball, then it is also possible to obtain $\epsilon$-calibrated forecasts after $T = \exp(O(\rho /\epsilon^2))$ rounds. When $\mathcal{P}$ is the $d$-dimensional simplex and $\Vert \cdot \Vert$ is the $\ell_1$-norm, the existence of $O(\sqrt{T\log d})$-regret algorithms for learning with experts implies that it is possible to obtain $\epsilon$-calibrated forecasts after $T = \exp(O(\log{d}/\epsilon^2)) = d^{O(1/\epsilon^2)}$ rounds, recovering a recent result of Peng (2025). Interestingly, our algorithm obtains this guarantee without requiring access to any online linear optimization subroutine or knowledge of the optimal rate $\rho$ — in fact, our algorithm is identical for every setting of $\mathcal{P}$ and $\Vert \cdot \Vert$. Instead, we show that the optimal regularizer for the above OLO problem can be used to upper bound the above calibration error by a swap regret, which we then minimize by running the recent TreeSwap algorithm with Follow-The-Leader as a subroutine. Finally, we prove that any online calibration algorithm that guarantees $\epsilon T$ $\ell_1$-calibration error over the $d$-dimensional simplex requires $T \geq \exp(\mathrm{poly}(1/\epsilon))$ (assuming $d \geq \mathrm{poly}(1/\epsilon)$). This strengthens the corresponding $d^{\Omega(\log{1/\epsilon})}$ lower bound of Peng, and shows that an exponential dependence on $1/\epsilon$ is necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google