Autonomous Vision-based Rapid Aerial Grasping

要約

自律型ロボットが登場する未来では、ロボット システムにとって視覚的および空間的認識が最も重要になります。
特に航空ロボティクスでは、現実世界のあらゆるシナリオで視覚認識を利用する必要がある多くのアプリケーションがあります。
ドローンを使用したロボットによる空中把握は、他のロボット ソリューションよりも機動性が大幅に向上した、迅速なピック アンド プレース ソリューションを約束します。
マスク R-CNN シーン セグメンテーション (detectron2) を利用して、オブジェクトの位置特定にマーカーに依存せず、オブジェクトのサイズを事前に知る必要がない、自律的かつ迅速な空中把握のための視覚ベースのシステムを提案します。
深度カメラからの空間情報を使用して、検出されたオブジェクトのポイント クラウドを生成し、ジオメトリ ベースの把握計画を実行して、オブジェクトの把握ポイントを決定します。
実世界の実験では、0.5 m から 2.5 m の範囲のオブジェクトからの距離について、モーション キャプチャのグラウンド トゥルースと比較して、システムが 3 cm の平均誤差でオブジェクトをローカライズできることを示しています。
同様の把持効率は、実験でオブジェクトの位置特定にモーション キャプチャを使用するシステムと比較して維持されます。
私たちの結果により、飛行プラットフォームでのジオメトリベースの把握技術の最初の使用を示し、既存の空中操作プラットフォームの自律性を高め、倉庫や同様の環境での実際のアプリケーションにさらに近づけることを目指しています。

要約(オリジナル)

In a future with autonomous robots, visual and spatial perception is of utmost importance for robotic systems. Particularly for aerial robotics, there are many applications where utilizing visual perception is necessary for any real-world scenarios. Robotic aerial grasping using drones promises fast pick-and-place solutions with a large increase in mobility over other robotic solutions. Utilizing Mask R-CNN scene segmentation (detectron2), we propose a vision-based system for autonomous rapid aerial grasping which does not rely on markers for object localization and does not require the size of the object to be previously known. With spatial information from a depth camera, we generate a point cloud of the detected objects and perform geometry-based grasp planning to determine grasping points on the objects. In real-world experiments, we show that our system can localize objects with a mean error of 3 cm compared to a motion capture ground truth for distances from the object ranging from 0.5 m to 2.5 m. Similar grasping efficacy is maintained compared to a system using motion capture for object localization in experiments. With our results, we show the first use of geometry-based grasping techniques with a flying platform and aim to increase the autonomy of existing aerial manipulation platforms, bringing them further towards real-world applications in warehouses and similar environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google