CubeDAgger: Improved Robustness of Interactive Imitation Learning without Violation of Dynamic Stability

要約

インタラクティブな模倣学習により、エージェントのコントロールポリシーは、専門家からの段階的な監督によって堅牢になります。
最近のアルゴリズムは、主に監督のタイミングを限定的に選択することにより、専門家のエージェントスイッチングシステムを使用して専門家の負担を軽減しています。
ただし、正確な選択は困難であり、そのような切り替えはアクションの急激な変化を引き起こし、動的安定性が損傷します。
したがって、このホワイトペーパーでは、いわゆるCubedaggerを提案します。これにより、ベースラインメソッドの3つの改善を行うことで動的な安定性違反を減らしながら堅牢性が向上します。
最初の改善により、正則化が追加され、監督のタイミングを決定するためのしきい値を明示的にアクティブ化します。
2番目は、エキスパートエージェントスイッチングシステムを複数のアクション候補の最適なコンセンサスシステムに変換します。
第三に、アクションに自己回帰色のノイズが導入され、確率的探索が時間の経過とともに一貫しています。
これらの改善はシミュレーションによって検証され、学習したポリシーは相互作用中に動的安定性を維持しながら十分に堅牢であることを示しています。

要約(オリジナル)

Interactive imitation learning makes an agent’s control policy robust by stepwise supervisions from an expert. The recent algorithms mostly employ expert-agent switching systems to reduce the expert’s burden by limitedly selecting the supervision timing. However, the precise selection is difficult and such a switching causes abrupt changes in actions, damaging the dynamic stability. This paper therefore proposes a novel method, so-called CubeDAgger, which improves robustness while reducing dynamic stability violations by making three improvements to a baseline method, EnsembleDAgger. The first improvement adds a regularization to explicitly activate the threshold for deciding the supervision timing. The second transforms the expert-agent switching system to an optimal consensus system of multiple action candidates. Third, autoregressive colored noise to the actions is introduced to make the stochastic exploration consistent over time. These improvements are verified by simulations, showing that the learned policies are sufficiently robust while maintaining dynamic stability during interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google