Online Nonconvex Bilevel Optimization with Bregman Divergences

要約

バイレベル最適化手法は、機械学習、特にハイパーパラメータ最適化やメタ学習などのタスクにますます関連性が高まっています。
オフライン設定と比較して、オンライン 2 レベル最適化 (OBO) は、時変関数と順次到着するデータに対応することにより、より動的なフレームワークを提供します。
この研究では、オンラインの非凸-強凸の 2 レベル最適化問題に取り組みます。
決定論的設定では、適応ブレグマン発散を利用する新しいオンライン ブレグマン バイレベル オプティマイザー (OBBO) を導入します。
我々は、問題の根底にある幾何学に適応する新しい超勾配誤差分解を通じて、OBBO がバイレベル局所リグレスの既知のサブリニア率を強化することを実証します。
確率論的なコンテキストでは、最初の確率的オンライン バイレベル オプティマイザー (SOBBO) を導入します。これは、超勾配の最近の確率的近似の加重平均を使用して外側レベル変数を更新するためのウィンドウ平均法を採用します。
このアプローチは、バイレベルのローカル リグレスの準線形率を達成するだけでなく、効果的な分散削減戦略としても機能し、各タイムステップで追加の確率的勾配サンプルの必要性を回避します。
オンライン ハイパーパラメータ最適化とオンライン メタ学習の実験では、確立されたオンラインおよびオフラインの 2 レベル ベンチマークと比較して、ブレグマン ベースのアルゴリズムの優れたパフォーマンス、効率、および適応性が強調されています。

要約(オリジナル)

Bilevel optimization methods are increasingly relevant within machine learning, especially for tasks such as hyperparameter optimization and meta-learning. Compared to the offline setting, online bilevel optimization (OBO) offers a more dynamic framework by accommodating time-varying functions and sequentially arriving data. This study addresses the online nonconvex-strongly convex bilevel optimization problem. In deterministic settings, we introduce a novel online Bregman bilevel optimizer (OBBO) that utilizes adaptive Bregman divergences. We demonstrate that OBBO enhances the known sublinear rates for bilevel local regret through a novel hypergradient error decomposition that adapts to the underlying geometry of the problem. In stochastic contexts, we introduce the first stochastic online bilevel optimizer (SOBBO), which employs a window averaging method for updating outer-level variables using a weighted average of recent stochastic approximations of hypergradients. This approach not only achieves sublinear rates of bilevel local regret but also serves as an effective variance reduction strategy, obviating the need for additional stochastic gradient samples at each timestep. Experiments on online hyperparameter optimization and online meta-learning highlight the superior performance, efficiency, and adaptability of our Bregman-based algorithms compared to established online and offline bilevel benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google