Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization

要約

高パラメーター化されたニューラルネットワークの顕著な一般化能力について広く信じられている説明は、トレーニングに使用される最適化アルゴリズムが良性ソリューションに対する暗黙のバイアスを誘発することです。
これを理論的に把握するために、最近の作品は、多くの場合、学習率が消滅することを想定していることが多い、単純化されたトレーニング設定の勾配降下とそのバリアントを調べます。
これらの研究は、$ \ ell_1 $ $ -NORMの回帰のパラメーターを最小化し、分類における最大マージンソリューションなど、さまざまな形態の暗黙的な正則化を明らかにしています。
同時に、経験的な調査結果は、標準の安定性のしきい値を超える中程度から大きな学習率を超える標準的な安定性のしきい値を超えると、いわゆる安定性体制におけるより速く、より速く収束し、低いシャープネスの最小値(ヘシアンの規範)への暗黙的なバイアスを誘導することを示しています。
この作業では、勾配降下の一般化パフォーマンスを包括的に理解するには、これらのさまざまな形態の暗黙的な正則化の相互作用を分析する必要があると主張します。
学習率は、低パラメーターのノルムと訓練されたモデルの低いシャープネスの間でバランスをとることを経験的に実証します。
さらに、暗黙のバイアスだけで一般化エラーを最小化することはないという単純な回帰タスクでトレーニングされた対角線線形ネットワークについて証明します。
これらの発見は、単一の暗黙的なバイアスに焦点を当てることは、良好な一般化を説明するには不十分であり、neglignibligible Learnationレートによって誘発される規範とシャープネスの動的なトレードオフを捉える暗黙の正則化のより広い見解を動機付けることを示しています。

要約(オリジナル)

A widely believed explanation for the remarkable generalization capacities of overparameterized neural networks is that the optimization algorithms used for training induce an implicit bias towards benign solutions. To grasp this theoretically, recent works examine gradient descent and its variants in simplified training settings, often assuming vanishing learning rates. These studies reveal various forms of implicit regularization, such as $\ell_1$-norm minimizing parameters in regression and max-margin solutions in classification. Concurrently, empirical findings show that moderate to large learning rates exceeding standard stability thresholds lead to faster, albeit oscillatory, convergence in the so-called Edge-of-Stability regime, and induce an implicit bias towards minima of low sharpness (norm of training loss Hessian). In this work, we argue that a comprehensive understanding of the generalization performance of gradient descent requires analyzing the interaction between these various forms of implicit regularization. We empirically demonstrate that the learning rate balances between low parameter norm and low sharpness of the trained model. We furthermore prove for diagonal linear networks trained on a simple regression task that neither implicit bias alone minimizes the generalization error. These findings demonstrate that focusing on a single implicit bias is insufficient to explain good generalization, and they motivate a broader view of implicit regularization that captures the dynamic trade-off between norm and sharpness induced by non-negligible learning rates.

arxiv情報

著者 Vit Fojtik,Maria Matveev,Hung-Hsu Chou,Gitta Kutyniok,Johannes Maly
発行日 2025-05-27 16:51:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Conflicting Biases at the Edge of Stability: Norm versus Sharpness Regularization はコメントを受け付けていません

Stochastic Online Conformal Prediction with Semi-Bandit Feedback

要約

コンフォーマル予測は、単一のラベルの代わりにモデルをラベルの出力セットに変更することにより、不確実性の定量化の効果的な戦略として浮上しています。
これらの予測セットには、確率が高い真のラベルが含まれているという保証が付いています。
ただし、コンフォーマル予測には通常、i.i.d。の大規模なキャリブレーションデータセットが必要です。
例。
例として例が到着するオンライン学習設定を検討し、目標は予測セットを動的に構築することです。
既存の作業から逸脱して、半バンディットフィードバックを想定しています。ここでは、予測セットに含まれている場合にのみ真のラベルを観察します。
たとえば、ドキュメント検索モデルを新しいドメインに校正することを検討してください。
この設定では、ターゲットドキュメントが取得ドキュメントの予測セットにある場合にのみ、ユーザーは真のラベルを提供できるようになります。
この設定でターゲットにされた新しいコンフォーマル予測アルゴリズムを提案し、最適なコンフォーマル予測子と比較してサブリン後悔を得ることを証明します。
検索タスク、画像分類タスク、およびオークション価格設定タスクでアルゴリズムを評価し、いくつかのベースラインと比較して優れたパフォーマンスを実証することを実証します。

要約(オリジナル)

Conformal prediction has emerged as an effective strategy for uncertainty quantification by modifying a model to output sets of labels instead of a single label. These prediction sets come with the guarantee that they contain the true label with high probability. However, conformal prediction typically requires a large calibration dataset of i.i.d. examples. We consider the online learning setting, where examples arrive over time, and the goal is to construct prediction sets dynamically. Departing from existing work, we assume semi-bandit feedback, where we only observe the true label if it is contained in the prediction set. For instance, consider calibrating a document retrieval model to a new domain; in this setting, a user would only be able to provide the true label if the target document is in the prediction set of retrieved documents. We propose a novel conformal prediction algorithm targeted at this setting, and prove that it obtains sublinear regret compared to the optimal conformal predictor. We evaluate our algorithm on a retrieval task, an image classification task, and an auction price-setting task, and demonstrate that it empirically achieves good performance compared to several baselines.

arxiv情報

著者 Haosen Ge,Hamsa Bastani,Osbert Bastani
発行日 2025-05-27 16:58:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Stochastic Online Conformal Prediction with Semi-Bandit Feedback はコメントを受け付けていません

QuForge: A Library for Qudits Simulation

要約

Quditsを備えた量子コンピューティングは、Qubitsの複数レベルへの拡張であり、キクビットベースの量子コンピューティングよりも成熟度が低い研究分野です。
ただし、Quditsは、分離されたコンポーネントが少ない情報を表すことにより、Qubitsよりもいくつかの利点を提供できます。
この記事では、Quditsの回路をQuditsでシミュレートするように設計されたPythonベースのライブラリであるQuforgeを紹介します。
このライブラリは、選択したQuditディメンションに合わせた量子アルゴリズムを実装するために必要な量子ゲートを提供します。
微分可能なフレームワークの上に構築されたQuforgeは、GPUやTPUなどの加速デバイスでの実行をサポートし、シミュレーションを大幅に高速化します。
また、まばらな操作をサポートし、他のライブラリと比較してメモリ消費が減少します。
さらに、quantum回路を微分可能なグラフとして構築することにより、Quforgeは量子機械学習アルゴリズムの実装を促進し、量子コンピューティング研究の機能と柔軟性を高めます。

要約(オリジナル)

Quantum computing with qudits, an extension of qubits to multiple levels, is a research field less mature than qubit-based quantum computing. However, qudits can offer some advantages over qubits, by representing information with fewer separated components. In this article, we present QuForge, a Python-based library designed to simulate quantum circuits with qudits. This library provides the necessary quantum gates for implementing quantum algorithms, tailored to any chosen qudit dimension. Built on top of differentiable frameworks, QuForge supports execution on accelerating devices such as GPUs and TPUs, significantly speeding up simulations. It also supports sparse operations, leading to a reduction in memory consumption compared to other libraries. Additionally, by constructing quantum circuits as differentiable graphs, QuForge facilitates the implementation of quantum machine learning algorithms, enhancing the capabilities and flexibility of quantum computing research.

arxiv情報

著者 Tiago de Souza Farias,Lucas Friedrich,Jonas Maziero
発行日 2025-05-27 17:02:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph | QuForge: A Library for Qudits Simulation はコメントを受け付けていません

Attribute-Efficient PAC Learning of Sparse Halfspaces with Constant Malicious Noise Rate

要約

まばらなハーフスペースの属性効率の高い学習は、機械学習理論の根本的な問題でした。
近年、機械学習アルゴリズムは、一般的なデータ腐敗や敵対的な攻撃に直面しています。
ノイズの腐敗に対して堅牢な効率的なアルゴリズムを設計することは、中心的な興味深いものです。
この論文では、データに一定の悪意のあるノイズが存在すると考えています。目標は、$ s $ -sparse halfspace $ w^* \ in \ mathbb {r}^d $を学習することであると考えています。
具体的には、最近の作品のラインに従い、基礎となる分布が特定の濃度条件と縁の状態を同時に満たすと仮定します。
このような条件下では、属性効率が既存のヒンジ損失最小化プログラムに対して単純なバリエーションによって達成できることを示します。
重要な貢献には、次のものが含まれます。1)一定の悪意のあるノイズ率の下で機能する属性効率の高いPAC学習アルゴリズム。
2)ヒンジの損失の最小化におけるスパースの制約を慎重に処理する新しい勾配分析。

要約(オリジナル)

Attribute-efficient learning of sparse halfspaces has been a fundamental problem in machine learning theory. In recent years, machine learning algorithms are faced with prevalent data corruptions or even adversarial attacks. It is of central interest to design efficient algorithms that are robust to noise corruptions. In this paper, we consider that there exists a constant amount of malicious noise in the data and the goal is to learn an underlying $s$-sparse halfspace $w^* \in \mathbb{R}^d$ with $\text{poly}(s,\log d)$ samples. Specifically, we follow a recent line of works and assume that the underlying distribution satisfies a certain concentration condition and a margin condition at the same time. Under such conditions, we show that attribute-efficiency can be achieved by simple variants to existing hinge loss minimization programs. Our key contribution includes: 1) an attribute-efficient PAC learning algorithm that works under constant malicious noise rate; 2) a new gradient analysis that carefully handles the sparsity constraint in hinge loss minimization.

arxiv情報

著者 Shiwei Zeng,Jie Shen
発行日 2025-05-27 17:02:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Attribute-Efficient PAC Learning of Sparse Halfspaces with Constant Malicious Noise Rate はコメントを受け付けていません

Distributional Scaling for Emergent Capabilities

要約

このペーパーでは、規模の言語モデルのパフォーマンスにおける突然の突破口の性質を探ります。これは、スケーリング法によって支配されるスムーズな改善とは対照的です。
「出現」の支持者は、ロック解除された機能としてブレークスルーを見ていますが、他の人はそれらを非連続メトリックへのしきい値の効果に帰します。
代わりに、ブレークスルーは、パフォーマンスがランダムな種子にバイモダイに分布している場合のトレーニング結果の確率分布の継続的な変化によって駆動されることを提案します。
合成長の一般化タスクでは、異なるランダムシードが非常に線形または緊急のスケーリング傾向のいずれかを生成できることを示します。
メトリックの鋭いブレークスルーは、種子全体の分布の根本的な継続的な変化によって生成されることを明らかにします。
さらに、逆スケーリングのケーススタディを提供します。
LM集団のMMLUパフォーマンスを測定することにより、現実的な設定に関する分布スケーリングフレームワークを検証します。
これらの洞察は、LM機能に対するスケールの影響におけるランダム変動の役割を強調しています。

要約(オリジナル)

This paper explores the nature of sudden breakthroughs in language model performance at scale, which stand in contrast to smooth improvements governed by scaling laws. While advocates of ‘emergence’ view breakthroughs as unlocked capabilities, others attribute them to thresholding effects on noncontinuous metrics. We propose that breakthroughs are instead driven by continuous changes in the probability distribution of training outcomes when performance is bimodally distributed across random seeds. In synthetic length generalization tasks, we show that different random seeds can produce either highly linear or emergent scaling trends. We reveal that sharp breakthroughs in metrics are produced by underlying continuous changes in their distribution across seeds. Furthermore, we provide a case study of inverse scaling. We validate our distributional scaling framework on realistic settings by measuring MMLU performance in LM populations. These insights emphasize the role of random variation in the effect of scale on LM capabilities.

arxiv情報

著者 Rosie Zhao,Tian Qin,David Alvarez-Melis,Sham Kakade,Naomi Saphra
発行日 2025-05-27 17:06:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, I.2.7 | Distributional Scaling for Emergent Capabilities はコメントを受け付けていません

Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution

要約

タスクの関連性を測定し、否定的な転送を軽減することは、マルチタスク学習(MTL)における重要なオープンチャレンジのままです。
この作業は、モデル予測に対する個々のトレーニングデータポイントの影響を定量化するデータ属性を、タスク関連性を測定するためのMTL設定に拡張します。
マルチタスク影響力関数(MTIF)を提案します。これは、ハードパラメーター共有を備えたMTLモデルに影響力関数を適応させる方法です。
従来のタスク関連性測定と比較して、MTIFは、タスク全体レベルを超えて、微調整されたインスタンスレベルの関連性測定を提供します。
この微調整された関連性測定により、データ選択戦略はMTLでの負の転送を効果的に緩和することができます。
広範な実験を通じて、提案されたMTIFがデータサブセットでトレーニングされたモデルのパフォーマンスを効率的かつ正確に近似することを実証します。
さらに、MTIFによって有効になったデータ選択戦略は、MTLのモデルパフォーマンスを一貫して改善します。
私たちの作業は、データの帰属とMTLの間に新しいつながりを確立し、タスクの関連性を測定し、MTLモデルを強化するための効率的で微細に微調整されたソリューションを提供します。

要約(オリジナル)

Measuring task relatedness and mitigating negative transfer remain a critical open challenge in Multitask Learning (MTL). This work extends data attribution — which quantifies the influence of individual training data points on model predictions — to MTL setting for measuring task relatedness. We propose the MultiTask Influence Function (MTIF), a method that adapts influence functions to MTL models with hard or soft parameter sharing. Compared to conventional task relatedness measurements, MTIF provides a fine-grained, instance-level relatedness measure beyond the entire-task level. This fine-grained relatedness measure enables a data selection strategy to effectively mitigate negative transfer in MTL. Through extensive experiments, we demonstrate that the proposed MTIF efficiently and accurately approximates the performance of models trained on data subsets. Moreover, the data selection strategy enabled by MTIF consistently improves model performance in MTL. Our work establishes a novel connection between data attribution and MTL, offering an efficient and fine-grained solution for measuring task relatedness and enhancing MTL models.

arxiv情報

著者 Yiwen Tu,Ziqi Liu,Jiaqi W. Ma,Weijing Tang
発行日 2025-05-27 17:13:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Measuring Fine-Grained Relatedness in Multitask Learning via Data Attribution はコメントを受け付けていません

Can Large Reasoning Models Self-Train?

要約

大規模な言語モデル(LLMS)のパフォーマンスのスケーリングは、人間の監督への依存を減らす方法にますます依存するようになります。
自動検証からの強化学習は代替品を提供しますが、人間が設計した検証因子への依存により、スケーラビリティの制限が生じます。
モデル自身の判断が監督信号を提供する自己訓練は、説得力のある方向を提示します。
モデルの自己整合性を活用して、正当な真実の監督なしで正確さのシグナルとトレーニングを推測するオンラインの自己訓練強化学習アルゴリズムを提案します。
アルゴリズムを挑戦的な数学的推論タスクに適用し、金標準の回答で明示的に訓練された強化学習方法に匹敵するパフォーマンスレベルにすぐに達することを示します。
さらに、アルゴリズムの固有の制限を分析し、自己生成されたプロキシ報酬が最初に正確性と相関する方法を強調します。
我々の結果は、自己学者の改善が外部ラベルなしで大きなパフォーマンスの向上をどのように達成できるかを示し、その基本的な課題も明らかにしています。

要約(オリジナル)

Scaling the performance of large language models (LLMs) increasingly depends on methods that reduce reliance on human supervision. Reinforcement learning from automated verification offers an alternative, but it incurs scalability limitations due to dependency upon human-designed verifiers. Self-training, where the model’s own judgment provides the supervisory signal, presents a compelling direction. We propose an online self-training reinforcement learning algorithm that leverages the model’s self-consistency to infer correctness signals and train without any ground-truth supervision. We apply the algorithm to challenging mathematical reasoning tasks and show that it quickly reaches performance levels rivaling reinforcement-learning methods trained explicitly on gold-standard answers. Additionally, we analyze inherent limitations of the algorithm, highlighting how the self-generated proxy reward initially correlated with correctness can incentivize reward hacking, where confidently incorrect outputs are favored. Our results illustrate how self-supervised improvement can achieve significant performance gains without external labels, while also revealing its fundamental challenges.

arxiv情報

著者 Sheikh Shafayat,Fahim Tajwar,Ruslan Salakhutdinov,Jeff Schneider,Andrea Zanette
発行日 2025-05-27 17:16:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Can Large Reasoning Models Self-Train? はコメントを受け付けていません

Training neural control variates using correlated configurations

要約

ニューラルコントロールバリエート(NCV)は、特に従来の制御バリエートが分析的に構築するのが困難な高次元の問題で、モンテカルロ(MC)シミュレーションの分散削減のための強力なツールとして浮上しています。
観察可能なターゲットと相関する補助機能を学ぶためにニューラルネットワークをトレーニングすることにより、NCVは不偏を維持しながら推定器の分散を大幅に減らすことができます。
ただし、NCVトレーニングの重要であるが見落とされがちな側面は、Markov Chain Monte Carlo(MCMC)によって生成された自己相関サンプルの役割です。
そのようなサンプルは通常、統計的冗長性のためにエラー推定のために破棄されますが、トレーニングプロセスに利益をもたらす可能性のある基礎となる確率分布の構造に関する有用な情報が含まれている場合があります。
この作業では、ニューラル制御のバリエートをトレーニングする際に相関した構成を使用する効果を体系的に調べます。
概念的および数値的に、相関データのトレーニングにより、特に限られた計算リソースを持つ設定で制御の変化パフォーマンスが向上することを実証します。
分析には、$ U(1)$ゲージ理論とスカラーフィールド理論の経験的結果が含まれており、自己相関サンプルがNCV構造をいつ、どのように促進するかを示しています。
これらの調査結果は、ニューラルネットワークのトレーニングにおけるMCMCデータを効率的に使用するための実用的なガイダンスを提供します。

要約(オリジナル)

Neural control variates (NCVs) have emerged as a powerful tool for variance reduction in Monte Carlo (MC) simulations, particularly in high-dimensional problems where traditional control variates are difficult to construct analytically. By training neural networks to learn auxiliary functions correlated with the target observable, NCVs can significantly reduce estimator variance while preserving unbiasedness. However, a critical but often overlooked aspect of NCV training is the role of autocorrelated samples generated by Markov Chain Monte Carlo (MCMC). While such samples are typically discarded for error estimation due to their statistical redundancy, they may contain useful information about the structure of the underlying probability distribution that can benefit the training process. In this work, we systematically examine the effect of using correlated configurations in training neural control variates. We demonstrate, both conceptually and numerically, that training on correlated data can improve control variate performance, especially in settings with limited computational resources. Our analysis includes empirical results from $U(1)$ gauge theory and scalar field theory, illustrating when and how autocorrelated samples enhance NCV construction. These findings provide practical guidance for the efficient use of MCMC data in training neural networks.

arxiv情報

著者 Hyunwoo Oh
発行日 2025-05-27 17:23:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-lat, nucl-th | Training neural control variates using correlated configurations はコメントを受け付けていません

Designing Cyclic Peptides via Harmonic SDE with Atom-Bond Modeling

要約

環状ペプチドは、医薬品に固有の利点を提供します。
たとえば、環状ペプチドは、線形ペプチドと比較して酵素加水分解により耐性があり、通常は優れた安定性と親和性を示します。
深い生成モデルは線形ペプチド設計で大きな成功を収めていますが、いくつかの課題により、多様な種類の環状ペプチドを設計するための計算方法の開発が妨げられています。
これらの課題には、標的タンパク質と関連する環状ペプチドリガンドに関する3D構造データの不足、環化が課す幾何学的制約、および環化における非標準アミノ酸の関与が含まれます。
上記の課題に対処するために、CPSDEを紹介します。CPSDEは、2つの重要なコンポーネントで構成されています。AtomsDEは、ハーモニックSDEに基づく生成構造予測モデルであるAtomsDEと、残基タイプの予測因子であるResRouterです。
CPSDEは、これら2つのモデルを交互に繰り返してシーケンスと構造を繰り返し更新するルーティングされたサンプリングアルゴリズムを利用して、環状ペプチドの生成を促進します。
明示的な全原子および結合モデリングを採用することにより、CPSDEは既存のデータの制限を克服し、さまざまな環状ペプチドの設計に習熟しています。
私たちの実験結果は、私たちの方法によって設計された環状ペプチドが信頼できる安定性と親和性を示すことを示しています。

要約(オリジナル)

Cyclic peptides offer inherent advantages in pharmaceuticals. For example, cyclic peptides are more resistant to enzymatic hydrolysis compared to linear peptides and usually exhibit excellent stability and affinity. Although deep generative models have achieved great success in linear peptide design, several challenges prevent the development of computational methods for designing diverse types of cyclic peptides. These challenges include the scarcity of 3D structural data on target proteins and associated cyclic peptide ligands, the geometric constraints that cyclization imposes, and the involvement of non-canonical amino acids in cyclization. To address the above challenges, we introduce CpSDE, which consists of two key components: AtomSDE, a generative structure prediction model based on harmonic SDE, and ResRouter, a residue type predictor. Utilizing a routed sampling algorithm that alternates between these two models to iteratively update sequences and structures, CpSDE facilitates the generation of cyclic peptides. By employing explicit all-atom and bond modeling, CpSDE overcomes existing data limitations and is proficient in designing a wide variety of cyclic peptides. Our experimental results demonstrate that the cyclic peptides designed by our method exhibit reliable stability and affinity.

arxiv情報

著者 Xiangxin Zhou,Mingyu Li,Yi Xiao,Jiahan Li,Dongyu Xue,Zaixiang Zheng,Jianzhu Ma,Quanquan Gu
発行日 2025-05-27 17:24:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.BM | Designing Cyclic Peptides via Harmonic SDE with Atom-Bond Modeling はコメントを受け付けていません

High-Dimensional Calibration from Swap Regret

要約

任意の凸セット$ \ mathcal {p} \ subset \ mathbb {r}^d $を並べて、任意の標準$ \ vert \ cdot \ vert $を並べて多次元予測のオンラインキャリブレーションを研究します。
これをオンライン線形最適化のための外部後悔の最小化の問題に接続します。$ o(\ sqrt {\ rho t})$ t $ラウンドの後に$ o(\ sqrt {\ rho t})$最悪の後悔を保証することができることを示しています。
$ \ epsilon $ – $ t = \ exp(o(\ rho /\ epsilon^2))$ roundsの後の予測。
$ \ mathcal {p} $が$ d $ -dimensional simplexで、$ \ vert \ cdot \ vert $が$ \ ell_1 $ -normである場合、$ oの存在(\ sqrt {t \ log d})$ – $ epsilon $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $の存在のためのアルゴリズム
= \ exp(o(\ log {d}/\ epsilon^2))= d^{o(1/\ epsilon^2)} $ラウンド、Peng(2025)の最近の結果を回復します。
興味深いことに、我々のアルゴリズムは、オンライン線形最適化サブルーチンまたは最適なレート$ \ rho $の知識へのアクセスを必要とせずにこの保証を取得します。実際、アルゴリズムは$ \ mathcal {p} $および$ \ vert \ cdot \ vert $のすべての設定と同じです。
代わりに、上記のOLO問題の最適な正規者を使用して、上記のキャリブレーションエラーをスワップ後悔によって上限にすることができることを示します。これは、サブルーチンとしてフォローリーダーを使用して最近のTreesWapアルゴリズムを実行することで最小限に抑えます。
最後に、$ D $ -Dimensional Simplexよりも$ \ Epsilon T $ $ $ \ Ell_1 $–Calibrationエラーを保証するオンラインキャリブレーションアルゴリズムには、$ t \ geq \ exp(\ mathrm {poly}(1/\ epsilon))$(仮定$ d \ geq
\ mathrm {poly}(1/\ epsilon)$)。
これにより、対応する$ d^{\ omega(\ log {1/\ epsilon})} $下限が強化され、$ 1/\ epsilon $への指数関数的依存が必要であることを示しています。

要約(オリジナル)

We study the online calibration of multi-dimensional forecasts over an arbitrary convex set $\mathcal{P} \subset \mathbb{R}^d$ relative to an arbitrary norm $\Vert\cdot\Vert$. We connect this with the problem of external regret minimization for online linear optimization, showing that if it is possible to guarantee $O(\sqrt{\rho T})$ worst-case regret after $T$ rounds when actions are drawn from $\mathcal{P}$ and losses are drawn from the dual $\Vert \cdot \Vert_*$ unit norm ball, then it is also possible to obtain $\epsilon$-calibrated forecasts after $T = \exp(O(\rho /\epsilon^2))$ rounds. When $\mathcal{P}$ is the $d$-dimensional simplex and $\Vert \cdot \Vert$ is the $\ell_1$-norm, the existence of $O(\sqrt{T\log d})$-regret algorithms for learning with experts implies that it is possible to obtain $\epsilon$-calibrated forecasts after $T = \exp(O(\log{d}/\epsilon^2)) = d^{O(1/\epsilon^2)}$ rounds, recovering a recent result of Peng (2025). Interestingly, our algorithm obtains this guarantee without requiring access to any online linear optimization subroutine or knowledge of the optimal rate $\rho$ — in fact, our algorithm is identical for every setting of $\mathcal{P}$ and $\Vert \cdot \Vert$. Instead, we show that the optimal regularizer for the above OLO problem can be used to upper bound the above calibration error by a swap regret, which we then minimize by running the recent TreeSwap algorithm with Follow-The-Leader as a subroutine. Finally, we prove that any online calibration algorithm that guarantees $\epsilon T$ $\ell_1$-calibration error over the $d$-dimensional simplex requires $T \geq \exp(\mathrm{poly}(1/\epsilon))$ (assuming $d \geq \mathrm{poly}(1/\epsilon)$). This strengthens the corresponding $d^{\Omega(\log{1/\epsilon})}$ lower bound of Peng, and shows that an exponential dependence on $1/\epsilon$ is necessary.

arxiv情報

著者 Maxwell Fishelson,Noah Golowich,Mehryar Mohri,Jon Schneider
発行日 2025-05-27 17:31:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.GT, cs.LG, stat.ML | High-Dimensional Calibration from Swap Regret はコメントを受け付けていません