Autonomous loading of ore piles with Load-Haul-Dump machines using Deep Reinforcement Learning

要約

この研究では、Load-Haul-Dump (LHD) マシンを使用して鉱石の山を自律的に積み込むためのコントローラーをトレーニングするための深層強化学習ベースのアプローチを紹介します。
これらのコントローラーは、車輪のドリフト、材料の投棄、または山にはまり込むことを回避しながら、LHD のバケットに材料を充填する完全な積み込み操作を実行する必要があります。
トレーニング プロセスは、低い計算コストを達成するために地動力学の基本方程式を活用する単純な環境を使用して、完全にシミュレーションで実行されます。
2 つの異なるタイプのポリシーがトレーニングされます。1 つはハイブリッド アクション スペースで、もう 1 つは連続アクション スペースです。
RL ベースのポリシーは、スケーリングされた LHD とスケーリングされたゴミの山を使用して、シミュレーションと現実世界の両方で評価され、そのパフォーマンスがヒューリスティック ベースのコントローラーや人間の遠隔操作のパフォーマンスと比較されます。
杭の特性評価における測定誤差に対する RL ベースのポリシーの堅牢性を評価するために、追加の実世界での実験が実行されます。
全体として、RL ベースのコントローラーは現実世界で優れたパフォーマンスを示し、71 ～ 94% の充填率を達成し、荷重操作中に他のベースラインよりもホイール ドリフトが少なくなります。
トレーニング環境とシミュレーションで学習された動作、および現実世界で実行された実験の一部を示すビデオは、https://youtu.be/jOpA1rkwhDY でご覧いただけます。

要約(オリジナル)

This work presents a deep reinforcement learning-based approach to train controllers for the autonomous loading of ore piles with a Load-Haul-Dump (LHD) machine. These controllers must perform a complete loading maneuver, filling the LHD’s bucket with material while avoiding wheel drift, dumping material, or getting stuck in the pile. The training process is conducted entirely in simulation, using a simple environment that leverages the Fundamental Equation of Earth-Moving Mechanics so as to achieve a low computational cost. Two different types of policies are trained: one with a hybrid action space and another with a continuous action space. The RL-based policies are evaluated both in simulation and in the real world using a scaled LHD and a scaled muck pile, and their performance is compared to that of a heuristics-based controller and human teleoperation. Additional real-world experiments are performed to assess the robustness of the RL-based policies to measurement errors in the characterization of the piles. Overall, the RL-based controllers show good performance in the real world, achieving fill factors between 71-94%, and less wheel drift than the other baselines during the loading maneuvers. A video showing the training environment and the learned behavior in simulation, as well as some of the performed experiments in the real world, can be found in https://youtu.be/jOpA1rkwhDY.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google