Multi-View Active Sensing for Human-Robot Interaction via Hierarchically Connected Tree

要約

人間とロボットの相互作用の安全性を確保するには、人間の包括的な認識が前提条件です。
現在、一般的な視覚センシング手法には通常、単一の固定カメラが含まれており、その結果、視野が制限され、遮蔽されてしまいます。
私たちの仕事では、複数のカメラを使用してマルチソース RGB-D データを動的にキャプチャするアクティブ ビジョン システムを開発しています。
局所的な視覚情報を融合するために、階層的に接続されたツリー構造に基づく統合人間センシング戦略が提案されています。
ツリー モデルを構成するのは、キーポイントを表すノードとキーパーツを表すエッジです。これらは、マルチソースの融合中に構造的制約を維持するために一貫して相互接続されています。
RGB-D データと HRNet を利用して、キーポイントの 3D 位置が分析的に推定され、信頼スコアのスライディング ウィンドウを通じてキーポイントの存在が推測されます。
続いて、耐オクルージョンマスクを描画することで信頼できるキーパーツの点群を抽出し、階層順序に従ってデータクラウドと円筒モデル間の精密な位置合わせを可能にします。
実験結果は、単一の静的カメラを使用する場合と比較して、私たちの方法が主要部分の認識再現率を 69.20% から 90.10% に向上させることを示しています。
さらに、局所的で遮蔽された知覚に関連する課題を克服する際に、ロボットアームの障害物回避能力が効果的に向上します。

要約(オリジナル)

Comprehensive perception of human beings is the prerequisite to ensure the safety of human-robot interaction. Currently, prevailing visual sensing approach typically involves a single static camera, resulting in a restricted and occluded field of view. In our work, we develop an active vision system using multiple cameras to dynamically capture multi-source RGB-D data. An integrated human sensing strategy based on a hierarchically connected tree structure is proposed to fuse localized visual information. Constituting the tree model are the nodes representing keypoints and the edges representing keyparts, which are consistently interconnected to preserve the structural constraints during multi-source fusion. Utilizing RGB-D data and HRNet, the 3D positions of keypoints are analytically estimated, and their presence is inferred through a sliding widow of confidence scores. Subsequently, the point clouds of reliable keyparts are extracted by drawing occlusion-resistant masks, enabling fine registration between data clouds and cylindrical model following the hierarchical order. Experimental results demonstrate that our method enhances keypart recognition recall from 69.20% to 90.10%, compared to employing a single static camera. Furthermore, in overcoming challenges related to localized and occluded perception, the robotic arm’s obstacle avoidance capabilities are effectively improved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google