Generalized Early Stopping in Evolutionary Direct Policy Search

要約

直接ポリシー検索タスクなどの多くの最適化問題では、特に物理世界での評価の実行が含まれる場合、評価時間が長くなるのが一般的です。
ロボット工学アプリケーションで。
固定期間にわたって解を評価する場合、計算時間を追加しても目標値が増加しないことが判明することがよくあります (たとえば、二輪ロボットがその場で回転し続ける場合など)。
このような場合、計算時間を節約するために評価を早期に停止することが合理的です。
ただし、評価を停止するほとんどのアプローチは問題固有のものであり、当面のタスクに合わせて特別に設計する必要があります。
そこで、直接ポリシー検索の早期停止手法を提案する。
提案された方法は、各タイム ステップでの客観的な値を調べるだけであり、問​​題固有の知識は必要ありません。
ゲーム、ロボット工学、および古典的な制御ドメインから抽出された 5 つの直接ポリシー検索環境で、導入された停止基準をテストし、計算時間を最大 75% 節約できることを示します。
また、問題固有の停止基準と比較し、より一般的に適用可能でありながら、同等のパフォーマンスを示すことを示します。

要約(オリジナル)

Lengthy evaluation times are common in many optimization problems such as direct policy search tasks, especially when they involve conducting evaluations in the physical world, e.g. in robotics applications. Often when evaluating solution over a fixed time period it becomes clear that the objective value will not increase with additional computation time (for example when a two wheeled robot continuously spins on the spot). In such cases, it makes sense to stop the evaluation early to save computation time. However, most approaches to stop the evaluation are problem specific and need to be specifically designed for the task at hand. Therefore, we propose an early stopping method for direct policy search. The proposed method only looks at the objective value at each time step and requires no problem specific knowledge. We test the introduced stopping criterion in five direct policy search environments drawn from games, robotics and classic control domains, and show that it can save up to 75% of the computation time. We also compare it with problem specific stopping criteria and show that it performs comparably, while being more generally applicable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google