Robustified Learning for Online Optimization with Memory Costs

要約

タイトル：ロバスト化学習によるメモリコストを持つオンライン最適化

要約：

– メモリコストを持つオンライン最適化は、未来の入力を知らずに連続したアクションを行う必要があるため、多くの現実世界のアプリケーションがあるが、この問題には大きな課題がある。
– 従来、この問題には様々な専門家設計のオンラインアルゴリズムが取り組んできたが、最悪場合の競争比を制限することを目的としているため、結果として平均パフォーマンスは不十分なことが多い。
– 一方で、新しい機械学習（ML）ベースの最適化手法は平均パフォーマンスを向上させることができるが、最悪場合のロバスト性に欠ける。
– この論文では、平均パフォーマンスとロバスト性の両方を実現する革新的なエキスパートロバスト化学習（ERL）手法を提案している。
– 具体的には、ロバスト化のために、ERLはエキスパートオンラインアルゴリズムを利用してMLアクションをロバスト化する新しい射影演算子を導入する。また、平均パフォーマンスのために、ERLはエキスパートロバスト化を明示的に考慮した再帰アーキテクチャに基づいてML最適化プログラムをトレーニングする。
– $\lambda \geq 1$ の任意の場合に、ERLは専門家アルゴリズムに対して $\lambda$ 台の競争比と最適なオフラインアルゴリズムに対して $\lambda\cdot C$ 台の競争比を達成することを証明する。
– さらに、多段階のメモリコストを持つ新しい環境にも適用できる。
– 最後に、エネルギースケジューリングアプリケーションの経験的実験で、提案手法の解析結果を裏付ける。

要約(オリジナル)

Online optimization with memory costs has many real-world applications, where sequential actions are made without knowing the future input. Nonetheless, the memory cost couples the actions over time, adding substantial challenges. Conventionally, this problem has been approached by various expert-designed online algorithms with the goal of achieving bounded worst-case competitive ratios, but the resulting average performance is often unsatisfactory. On the other hand, emerging machine learning (ML) based optimizers can improve the average performance, but suffer from the lack of worst-case performance robustness. In this paper, we propose a novel expert-robustified learning (ERL) approach, achieving {both} good average performance and robustness. More concretely, for robustness, ERL introduces a novel projection operator that robustifies ML actions by utilizing an expert online algorithm; for average performance, ERL trains the ML optimizer based on a recurrent architecture by explicitly considering downstream expert robustification. We prove that, for any $\lambda\geq1$, ERL can achieve $\lambda$-competitive against the expert algorithm and $\lambda\cdot C$-competitive against the optimal offline algorithm (where $C$ is the expert’s competitive ratio). Additionally, we extend our analysis to a novel setting of multi-step memory costs. Finally, our analysis is supported by empirical experiments for an energy scheduling application.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI