Progressive-Resolution Policy Distillation: Leveraging Coarse-Resolution Simulations for Time-Efficient Fine-Resolution Policy Learning

要約

土工と建設では、掘削機はしばしばさまざまな土壌条件と混合した大きな岩に遭遇し、熟練したオペレーターを必要とします。
このホワイトペーパーでは、Rock Excavation Simulatorを介して強化学習（RL）を使用して自律的な掘削を達成するためのフレームワークを紹介します。
シミュレーションでは、分解能は、土壌空間全体の粒子サイズ/数によって定義できます。
微小解像度シミュレーションは実際の動作を密接に模倣していますが、重要な計算時間と挑戦的なサンプル収集を必要としますが、粗解像度シミュレーションはより速いサンプル収集を可能にしますが、実際の動作から逸脱します。
両方の解像度の利点を組み合わせるために、微細解像度シミュレーションでの事前トレーニングのために粗い解像度シミュレーションで開発されたポリシーを使用して検討します。
この目的のために、私たちは、進歩的解像度政策蒸留（PRPD）と呼ばれる新しい政策学習フレームワークを提案します。これは、ポリシーの障害につながる可能性のあるドメインのギャップを回避するために、いくつかの中央分解シミュレーションを介して保守的な政策転送を介して徐々にポリシーを転送します。
ロック掘削シミュレーターと9つの実世界の岩環境での検証は、PRPDがサンプリング時間を1/7未満に短縮し、タスクの成功率を微細解像度シミュレーションでポリシー学習を通じて達成したものに匹敵することを実証しました。

要約(オリジナル)

In earthwork and construction, excavators often encounter large rocks mixed with various soil conditions, requiring skilled operators. This paper presents a framework for achieving autonomous excavation using reinforcement learning (RL) through a rock excavation simulator. In the simulation, resolution can be defined by the particle size/number in the whole soil space. Fine-resolution simulations closely mimic real-world behavior but demand significant calculation time and challenging sample collection, while coarse-resolution simulations enable faster sample collection but deviate from real-world behavior. To combine the advantages of both resolutions, we explore using policies developed in coarse-resolution simulations for pre-training in fine-resolution simulations. To this end, we propose a novel policy learning framework called Progressive-Resolution Policy Distillation (PRPD), which progressively transfers policies through some middle-resolution simulations with conservative policy transfer to avoid domain gaps that could lead to policy transfer failure. Validation in a rock excavation simulator and nine real-world rock environments demonstrated that PRPD reduced sampling time to less than 1/7 while maintaining task success rates comparable to those achieved through policy learning in a fine-resolution simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google