Multi-log grasping using reinforcement learning and virtual visual servoing

要約

シミュレートされた環境での自動転送のための強化学習と仮想ビジュアル サーボを使用したマルチログ把握を検討します。
森林プロセスの自動化は大きな課題であり、ロボット制御に関する多くの技術は、構造化されていない過酷な屋外環境のためにさまざまな課題を引き起こします。
複数の丸太の把握には力学や経路計画のさまざまな問題が伴い、つかみ、丸太、地形、障害物の間の相互作用を理解するには視覚的な情報が必要です。
これらの課題に対処するために、画像のセグメンテーションをクレーン制御から分離し、仮想カメラを利用して再構成された 3D データから画像ストリームを提供します。
デカルト制御を使用して、実際のアプリケーションへのドメイン転送を簡素化します。
丸太の山は静的であるため、丸太とその周囲の 3D 再構築を使用した視覚的サーボは、把握する時点までは実際のカメラ データを使用するのと同等です。
これにより、画像セグメンテーションの課題にかかる計算リソースと時間の制限が緩和され、ログの山が遮られていない状況でデータを収集できるようになります。
欠点は、把握時の情報が不足していることです。
我々は、この問題が対処可能であることを実証し、2 ～ 5 個の困難な丸太の山から 1 つまたは複数の丸太を選択することに 95% 成功するエージェントを示します。

要約(オリジナル)

We explore multi-log grasping using reinforcement learning and virtual visual servoing for automated forwarding in a simulated environment. Automation of forest processes is a major challenge, and many techniques regarding robot control pose different challenges due to the unstructured and harsh outdoor environment. Grasping multiple logs involves various problems of dynamics and path planning, where understanding the interaction between the grapple, logs, terrain, and obstacles requires visual information. To address these challenges, we separate image segmentation from crane control and utilise a virtual camera to provide an image stream from reconstructed 3D data. We use Cartesian control to simplify domain transfer to real-world applications. Since log piles are static, visual servoing using a 3D reconstruction of the pile and its surroundings is equivalent to using real camera data until the point of grasping. This relaxes the limits on computational resources and time for the challenge of image segmentation and allows for collecting data in situations where the log piles are not occluded. The disadvantage is the lack of information during grasping. We demonstrate that this problem is manageable and present an agent that is 95% successful in picking one or several logs from challenging piles of 2–5 logs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google