Robust Policy Search for Robot Navigation

要約

複雑なロボットのナビゲーションと制御の問題は、ポリシー検索の問題として組み立てることができます。
ただし、不確実な環境でのインタラクティブな学習は高価な場合があり、データ効率の良い方法を使用する必要があります。
Bayesian Optimizationは、最適な場所に関する情報を収集するためにクエリが慎重に選択される効率的な非線形最適化方法です。
これは、過去の情報とクエリ選択のための取得関数をコードする代理モデルによって達成されます。
ベイズの最適化は、入力データまたは以前の仮定の不確実性に非常に敏感です。
この作業では、堅牢な最適化と統計的堅牢性の両方を組み込み、両方のタイプの堅牢性が相乗的であることを示しています。
堅牢な最適化のために、ポリシーの不確実性の存在下で安全で再現可能なポリシーを提供する、無香料のベイジアン最適化の改良バージョンを使用します。
また、新しい理論的洞察も提供します。
統計的堅牢性のために、適応型サロゲートモデルを使用し、サロゲートモデリングエラーを使用しても収束保証とパフォーマンスの向上を実施するための確率的獲得方法としてBoltzmann選択を導入します。
いくつかの最適化ベンチマークとロボットタスクで結果を示します。

要約(オリジナル)

Complex robot navigation and control problems can be framed as policy search problems. However, interactive learning in uncertain environments can be expensive, requiring the use of data-efficient methods. Bayesian optimization is an efficient nonlinear optimization method where queries are carefully selected to gather information about the optimum location. This is achieved by a surrogate model, which encodes past information, and the acquisition function for query selection. Bayesian optimization can be very sensitive to uncertainty in the input data or prior assumptions. In this work, we incorporate both robust optimization and statistical robustness, showing that both types of robustness are synergistic. For robust optimization we use an improved version of unscented Bayesian optimization which provides safe and repeatable policies in the presence of policy uncertainty. We also provide new theoretical insights. For statistical robustness, we use an adaptive surrogate model and we introduce the Boltzmann selection as a stochastic acquisition method to have convergence guarantees and improved performance even with surrogate modeling errors. We present results in several optimization benchmarks and robot tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google