Reinforcement Learning Control for Autonomous Hydraulic Material Handling Machines with Underactuated Tools

要約

重量物運搬機械の正確かつ安全な制御には、油圧で作動するジョイントのモデル化が難しいことと、自由にスイングするエンドエフェクターツールによる衝突のない軌道計画の必要性があるため、多くの課題が生じます。
この研究では、キャビンジョイントとアームを同時に制御する RL ベースのコントローラーを提案します。
データ駆動型モデリング技術と第一原理モデリングを組み合わせたシミュレーションでトレーニングされます。
一方では、ニューラル ネットワーク モデルを使用して、上部台車回転油圧モーターの高度に非線形なダイナミクスをキャプチャし、遅延をより適切に処理するために明示的な圧力予測を組み込んでいます。
一方、第一原理を使用して、アームを速度制御可能としてモデル化し、自由にスイングするエンドエフェクターツールを減衰振り子としてモデル化します。
この結合モデルによりシミュレーション環境が強化され、実機に直接転送できる RL コントローラーのトレーニングが可能になります。
定常状態のデカルト目標を達成するように設計された RL コントローラーは、油圧力学を活用して精度を向上させ、高速を維持し、エンドエフェクター ツールの振動を最小限に抑えることを学習します。
中型のプロトタイプのマテリアル ハンドラーでテストされた当社のコントローラーは、経験の浅いオペレーターよりも正確で、ツールの振動が少なくなります。
経験豊富なプロドライバーと比較しても遜色ないパフォーマンスを発揮します。

要約(オリジナル)

The precise and safe control of heavy material handling machines presents numerous challenges due to the hard-to-model hydraulically actuated joints and the need for collision-free trajectory planning with a free-swinging end-effector tool. In this work, we propose an RL-based controller that commands the cabin joint and the arm simultaneously. It is trained in a simulation combining data-driven modeling techniques with first-principles modeling. On the one hand, we employ a neural network model to capture the highly nonlinear dynamics of the upper carriage turn hydraulic motor, incorporating explicit pressure prediction to handle delays better. On the other hand, we model the arm as velocity-controllable and the free-swinging end-effector tool as a damped pendulum using first principles. This combined model enhances our simulation environment, enabling the training of RL controllers that can be directly transferred to the real machine. Designed to reach steady-state Cartesian targets, the RL controller learns to leverage the hydraulic dynamics to improve accuracy, maintain high speeds, and minimize end-effector tool oscillations. Our controller, tested on a mid-size prototype material handler, is more accurate than an inexperienced operator and causes fewer tool oscillations. It demonstrates competitive performance even compared to an experienced professional driver.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google