Understanding Lookahead Dynamics Through Laplace Transform

要約

ゲームの最適化におけるハイパーパラメーターの収束分析のための周波数ドメインフレームワークを導入し、高解像度の微分方程式（HRDE）とラプラスの変換を活用します。
Lookaheadアルゴリズムに焦点を当て、グラデーションステップ$ k $と平均係数$ \ alpha $によって特徴付けられます – 双線形ゲームの離散時間振動ダイナミクスを周波数領域に変換して、正確な収束基準を導き出します。
私たちの高精度$ o（\ gamma^2）$ -HRDEモデルはより厳しい基準を生成しますが、私たちの1次$ o（\ gamma）$ -HRDEモデルは、複雑な閉じた型ソリューションよりも実用的なハイパーパラメーターチューニングに優先順位を付けることにより実用的なガイダンスを提供します。
離散時間設定での経験的検証は、私たちのアプローチの有効性を示しています。これは、局所的な線形演算子にさらに拡張される可能性があり、ゲームで学習するためのハイパーパラメーターを選択するためのスケーラブルなフレームワークを提供します。

要約(オリジナル)

We introduce a frequency-domain framework for convergence analysis of hyperparameters in game optimization, leveraging High-Resolution Differential Equations (HRDEs) and Laplace transforms. Focusing on the Lookahead algorithm–characterized by gradient steps $k$ and averaging coefficient $\alpha$–we transform the discrete-time oscillatory dynamics of bilinear games into the frequency domain to derive precise convergence criteria. Our higher-precision $O(\gamma^2)$-HRDE models yield tighter criteria, while our first-order $O(\gamma)$-HRDE models offer practical guidance by prioritizing actionable hyperparameter tuning over complex closed-form solutions. Empirical validation in discrete-time settings demonstrates the effectiveness of our approach, which may further extend to locally linear operators, offering a scalable framework for selecting hyperparameters for learning in games.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google