A Markovian Model for Learning-to-Optimize

要約

最適化アルゴリズムの使用例を念頭に置いて、確率的反復アルゴリズムの確率モデルを提示します。
このモデルに基づいて、学習されたアルゴリズムの軌跡上で定義される関数の PAC ベイズ一般化限界、たとえば、期待される (非漸近的な) 収束率や停止基準に到達するまでの期待時間を提示します。
したがって、このモデルでは、経験的パフォーマンスに基づいて確率的アルゴリズムを学習できるだけでなく、実際の収束率と実際の収束時間に関する結果も得られます。
このモデルは最適化学習よりも一般的な設定で有効であるため、他の応用分野にも興味深いものであることを強調します。
最後に、実際に関連する 5 つの実験を実施し、私たちの主張の正当性を示します。

要約(オリジナル)

We present a probabilistic model for stochastic iterative algorithms with the use case of optimization algorithms in mind. Based on this model, we present PAC-Bayesian generalization bounds for functions that are defined on the trajectory of the learned algorithm, for example, the expected (non-asymptotic) convergence rate and the expected time to reach the stopping criterion. Thus, not only does this model allow for learning stochastic algorithms based on their empirical performance, it also yields results about their actual convergence rate and their actual convergence time. We stress that, since the model is valid in a more general setting than learning-to-optimize, it is of interest for other fields of application, too. Finally, we conduct five practically relevant experiments, showing the validity of our claims.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google