Online Learning under Adversarial Nonlinear Constraints

要約

多くのアプリケーションでは、学習システムは連続的な非定常データ ストリームを処理する必要があります。
私たちはこの問題をオンライン学習フレームワークで研究し、敵対的な時間変動制約と非線形制約に対処できるアルゴリズムを提案します。
私たちの研究で示したように、制約違反速度投影 (CVV-Pro) と呼ばれるアルゴリズムは、次の事実にもかかわらず $\sqrt{T}$ の後悔を達成し、$1/\sqrt{T}$ のレートで実行可能集合に収束します。
実現可能な集合は時間とともにゆっくりと変化し、学習者には先験的に知られていないということです。
CVV-Pro は、実行可能なセットの局所的な疎線形近似のみに依存するため、反復ごとにセット全体の最適化を回避します。これは、投影勾配や Frank-Wolfe 法とは大きく異なります。
また、プレイヤーが共通の制約を受ける 2 人用ゲームのアルゴリズムも経験的に評価しています。

要約(オリジナル)

In many applications, learning systems are required to process continuous non-stationary data streams. We study this problem in an online learning framework and propose an algorithm that can deal with adversarial time-varying and nonlinear constraints. As we show in our work, the algorithm called Constraint Violation Velocity Projection (CVV-Pro) achieves $\sqrt{T}$ regret and converges to the feasible set at a rate of $1/\sqrt{T}$, despite the fact that the feasible set is slowly time-varying and a priori unknown to the learner. CVV-Pro only relies on local sparse linear approximations of the feasible set and therefore avoids optimizing over the entire set at each iteration, which is in sharp contrast to projected gradients or Frank-Wolfe methods. We also empirically evaluate our algorithm on two-player games, where the players are subjected to a shared constraint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google