End-to-end Multi-Instance Robotic Reaching from Monocular Vision

要約

マルチインスタンス シーンは、エンドツーエンドの視覚モーター (画像から制御) 学習アルゴリズムにとって特に困難です。
「パイプライン」ビジュアル サーボ制御アルゴリズムは、個別の検出、選択、およびサーボ ステージを使用するため、アルゴリズムがサーボ制御中に単一のオブジェクト インスタンスに焦点を当てることができます。
エンドツーエンド システムには個別の検出段階と選択段階がなく、サーボ制御中に視覚的に同一または類似のオブジェクトが任意の数存在することによってもたらされる視覚的な曖昧さに対処する必要があります。
ただし、エンドツーエンド方式は、サーボ制御動作の検出および選択段階での埋め込みエラーを回避し、シーンの変化に対してより動的に堅牢で、アルゴリズムがより単純です。
この論文では、マルチインスタンス リーチのためのリアルタイムのエンドツーエンドの視覚運動学習アルゴリズムを紹介します。
提案されたアルゴリズムは、単眼 RGB 画像とマニピュレータの関節角度を軽量の完全畳み込みネットワーク (FCN) への入力として使用し、制御候補を生成します。
提案された方法の主な革新は、制御リアプノフ関数 (cLf) 値を回帰することによって最適な制御候補を特定することです。
マルチインスタンス機能は、cLf 配合に関連する安定性分析から自然に現れます。
提案されたアルゴリズムが、肩越しの単眼 RGB カメラからの他のインスタンスや気を散らすものに囲まれて、テーブルトップ上のさまざまなカテゴリのオブジェクトに効果的に到達して把握することを実証します。
ネットワークは、1 つの GTX 1080 Ti GPU での推論中に最大約 160 fps で実行できます。

要約(オリジナル)

Multi-instance scenes are especially challenging for end-to-end visuomotor (image-to-control) learning algorithms. ‘Pipeline’ visual servo control algorithms use separate detection, selection and servo stages, allowing algorithms to focus on a single object instance during servo control. End-to-end systems do not have separate detection and selection stages and need to address the visual ambiguities introduced by the presence of arbitrary number of visually identical or similar objects during servo control. However, end-to-end schemes avoid embedding errors from detection and selection stages in the servo control behaviour, are more dynamically robust to changing scenes, and are algorithmically simpler. In this paper, we present a real-time end-to-end visuomotor learning algorithm for multi-instance reaching. The proposed algorithm uses a monocular RGB image and the manipulator’s joint angles as the input to a light-weight fully-convolutional network (FCN) to generate control candidates. A key innovation of the proposed method is identifying the optimal control candidate by regressing a control-Lyapunov function (cLf) value. The multi-instance capability emerges naturally from the stability analysis associated with the cLf formulation. We demonstrate the proposed algorithm effectively reaching and grasping objects from different categories on a table-top amid other instances and distractors from an over-the-shoulder monocular RGB camera. The network is able to run up to approximately 160 fps during inference on one GTX 1080 Ti GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google