Virtual Reality via Object Pose Estimation and Active Learning: Realizing Telepresence Robots with Aerial Manipulation Capabilities

要約

この記事では、動的で構造化されていない環境で空中操作を進めるための新しいテレプレゼンス システムを紹介します。
提案されたシステムは、触覚デバイスだけでなく、ロボットのワークスペースのリアルタイム 3D ディスプレイと、離れた場所にいるオペレーターへの触覚ガイダンスを提供する仮想現実 (VR) インターフェイスも備えています。
これを実現するために、LiDAR、カメラ、IMU などの複数のセンサーが利用されます。
取得した感覚データを処理するために、既知および未知のジオメトリの両方の工業用オブジェクトに対してポーズ推定パイプラインが考案されています。
さらに、ディープ ニューラル ネットワーク (DNN) ベースのオブジェクト検出に依存するパイプライン コンポーネントのサンプル効率を高めるために、アクティブ ラーニング パイプラインを提案します。
これらのアルゴリズムはすべて、産業シナリオでの認識タスクの実行中に発生するさまざまな課題に共同で対処します。
実験では、提案されたパイプラインを検証するために徹底的なアブレーション研究が提供されます。
方法論的には、これらの結果は一般に、アルゴリズム自体の失敗と不確実性を認識すること (「内省」) を使用して、遭遇した問題に取り組む方法を示唆しています。
さらに、空中操作能力を強化する上でのシステム全体の有効性を評価するために、屋外実験が行われます。
特に、昼夜を問わず、春から冬まで、さまざまなユーザーと場所でのフライト キャンペーンで、DLR ケーブルを使用したピック アンド プレース、力の適用、ペグインホール タスクの 70 以上の堅牢な実行を実証しました。
吊り下げ式空中マニピュレーター (SAM)。
その結果、将来の産業用アプリケーションで提案されたシステムの実行可能性を示します。

要約(オリジナル)

This article presents a novel telepresence system for advancing aerial manipulation in dynamic and unstructured environments. The proposed system not only features a haptic device, but also a virtual reality (VR) interface that provides real-time 3D displays of the robot’s workspace as well as a haptic guidance to its remotely located operator. To realize this, multiple sensors namely a LiDAR, cameras and IMUs are utilized. For processing of the acquired sensory data, pose estimation pipelines are devised for industrial objects of both known and unknown geometries. We further propose an active learning pipeline in order to increase the sample efficiency of a pipeline component that relies on Deep Neural Networks (DNNs) based object detection. All these algorithms jointly address various challenges encountered during the execution of perception tasks in industrial scenarios. In the experiments, exhaustive ablation studies are provided to validate the proposed pipelines. Methodologically, these results commonly suggest how an awareness of the algorithms’ own failures and uncertainty (`introspection’) can be used tackle the encountered problems. Moreover, outdoor experiments are conducted to evaluate the effectiveness of the overall system in enhancing aerial manipulation capabilities. In particular, with flight campaigns over days and nights, from spring to winter, and with different users and locations, we demonstrate over 70 robust executions of pick-and-place, force application and peg-in-hole tasks with the DLR cable-Suspended Aerial Manipulator (SAM). As a result, we show the viability of the proposed system in future industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google