A lightweight method for detecting dynamic target occlusions by the robot body

要約

ロボットの視覚はオクルージョンの影響を大きく受け、自律システムに課題をもたらします。
ロボット自体は、視野内を移動している間、対象のターゲットをカメラから隠し、タスクの実行に失敗する可能性があります。
たとえば、関心のあるターゲットがロボットによって部分的に遮られている場合、それを正しく検出して把握することは非常に困難になります。
この問題を解決するために、ロボットが遮る領域を決定するための計算的に軽量な方法を提案します。
この目的のために、Unified Robot Description Format (URDF) を使用して、3D ロボット モデルの仮想深度イメージを生成します。
仮想深度画像を使用すると、部分的に遮られた領域を効果的に特定して、知覚システムによって提供される情報の堅牢性を向上させることができます。
メソッドのリアルタイム機能により、移動ロボットによる移動ターゲットのオクルージョンを正常に検出できます。
6-DoF ロボット アームと RGB-D カメラを使用した実験セットアップで、2 つのタスクのオクルージョンを検出して処理することにより、この方法の有効性を検証します: ピックアップのための移動オブジェクトのポーズ推定と、ロボット ハンドオーバーのための人間の追跡。
コードは \url{https://github.com/auth-arl/virtual\_depth\_image} にあります。

要約(オリジナル)

Robot vision is greatly affected by occlusions, which poses challenges to autonomous systems. The robot itself may hide targets of interest from the camera, while it moves within the field of view, leading to failures in task execution. For example, if a target of interest is partially occluded by the robot, detecting and grasping it correctly, becomes very challenging. To solve this problem, we propose a computationally lightweight method to determine the areas that the robot occludes. For this purpose, we use the Unified Robot Description Format (URDF) to generate a virtual depth image of the 3D robot model. Using the virtual depth image, we can effectively determine the partially occluded areas to improve the robustness of the information given by the perception system. Due to the real-time capabilities of the method, it can successfully detect occlusions of moving targets by the moving robot. We validate the effectiveness of the method in an experimental setup using a 6-DoF robot arm and an RGB-D camera by detecting and handling occlusions for two tasks: Pose estimation of a moving object for pickup and human tracking for robot handover. The code is available in \url{https://github.com/auth-arl/virtual\_depth\_image}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google