Diver Interest via Pointing in Three Dimensions: 3D Pointing Reconstruction for Diver-AUV Communication

要約

本稿では、ダイバー・インタレスト・バイ・ポインティング・イン・スリー・ディメンション（DIP-3D）を紹介します。これは、複数の物体を区別するための三次元距離情報を含むポインティングによって、ダイバーから自律型水中ビークル（AUV）に関心のある物体を中継する方法です。
AUVのカメラ画像。
水中での距離推定のための従来の高密度ステレオ ビジョンは、シーンの特徴の顕著性が相対的に欠如していたり​​、照明条件が悪化したりするため、困難です。
しかし、ロボットの画像面内に複数の物体が現れる場合に、ダイバーが指差していることをロボットが認識するには、距離情報を含める必要がある。
キーポイントのスパース再構成を使用して、ロボットのステレオ カメラからの左右の画像の両方で姿勢推定を実行することにより、水中距離推定の課題を覆します。
三角形のポーズ キーポイントと従来の物体検出方法を併用することで、DIP-3D は、複数の物体が AUV の視野内にある場合に、対象の物体の位置を推測できます。
この方法では、スキューバダイバーが任意の対象物体を指すことができ、AUV がダイバーがどの物体を指しているかを自律的に決定できるようにすることで、水中ロボットと人間の共同作業において、AUV と人間のスキューバダイバーの間でより自然な相互作用が可能になります。

要約(オリジナル)

This paper presents Diver Interest via Pointing in Three Dimensions (DIP-3D), a method to relay an object of interest from a diver to an autonomous underwater vehicle (AUV) by pointing that includes three-dimensional distance information to discriminate between multiple objects in the AUV’s camera image. Traditional dense stereo vision for distance estimation underwater is challenging because of the relative lack of saliency of scene features and degraded lighting conditions. Yet, including distance information is necessary for robotic perception of diver pointing when multiple objects appear within the robot’s image plane. We subvert the challenges of underwater distance estimation by using sparse reconstruction of keypoints to perform pose estimation on both the left and right images from the robot’s stereo camera. Triangulated pose keypoints, along with a classical object detection method, enable DIP-3D to infer the location of an object of interest when multiple objects are in the AUV’s field of view. By allowing the scuba diver to point at an arbitrary object of interest and enabling the AUV to autonomously decide which object the diver is pointing to, this method will permit more natural interaction between AUVs and human scuba divers in underwater-human robot collaborative tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google