Direct Imitation Learning-based Visual Servoing using the Large Projection Formulation

要約

今日、ロボットは、構造化されていない人間が密集する環境で動作するには、安全で多用途で使いやすいものでなければなりません。
動的システムベースの模倣学習により、ロボットは明示的なプログラミングを行わずに複雑なタスクを安定して実行できるようになり、現実世界への展開が大幅に簡素化されます。
これらのシステムの可能性を最大限に活用するには、視覚的なフィードバックを使用する閉ループを実装することが重要です。
視覚は環境の変化に対処することを可能にしますが、画像空間の次元が高いため、処理が複雑になります。
この研究では、直接視覚サーボのための動的システムベースの模倣学習を導入します。
既製の深層学習ベースの認識バックボーンを活用して生の入力画像から堅牢な特徴を抽出し、模倣学習戦略を利用して洗練されたロボットの動きを実行します。
学習ブロックは、大規模投影タスク優先度定式化を使用して統合されます。
広範な実験解析を通じて実証されたように、提案された方法はロボットマニピュレータを使用して複雑なタスクを実現します。

要約(オリジナル)

Today robots must be safe, versatile, and user-friendly to operate in unstructured and human-populated environments. Dynamical system-based imitation learning enables robots to perform complex tasks stably and without explicit programming, greatly simplifying their real-world deployment. To exploit the full potential of these systems it is crucial to implement closed loops that use visual feedback. Vision permits to cope with environmental changes, but is complex to handle due to the high dimension of the image space. This study introduces a dynamical system-based imitation learning for direct visual servoing. It leverages off-the-shelf deep learning-based perception backbones to extract robust features from the raw input image, and an imitation learning strategy to execute sophisticated robot motions. The learning blocks are integrated using the large projection task priority formulation. As demonstrated through extensive experimental analysis, the proposed method realizes complex tasks with a robotic manipulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google