Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps

要約

協調環境における作業者とロボットの正確な3D位置を知ることで、安全でない状況の検出や、統計的・社会的目的のための相互作用の研究など、いくつかの実アプリケーションが可能になる。本論文では、深度デバイスとディープニューラルネットワークに基づき、外部カメラからロボットの3D姿勢を推定する非侵襲的かつ光不変なフレームワークを提案する。本手法は、内部状態へのハードウェアアクセスを必要とせず、あらゆるロボットに適用することができる。我々は、2D人間の姿勢推定のために設計された効率的なディープネットワークを適応して世界座標で3D関節位置を正確に計算するために、予測された姿勢の新しい表現、すなわち半観測的分離熱マップ（SPDH）を導入する。XYZ座標に基づく深度表現を入力とする提案手法は、合成深度データで学習し、領域適応技術を必要とせずに実世界の設定に適用することが可能である。このため、合成奥行き画像と実奥行き画像の両方に基づくSimBaデータセットを提示し、実験評価に使用する。その結果、特定の深度マップ表現とSPDHからなる提案手法は、現在の技術状況を克服していることが示された。

要約(オリジナル)

Knowing the exact 3D location of workers and robots in a collaborative environment enables several real applications, such as the detection of unsafe situations or the study of mutual interactions for statistical and social purposes. In this paper, we propose a non-invasive and light-invariant framework based on depth devices and deep neural networks to estimate the 3D pose of robots from an external camera. The method can be applied to any robot without requiring hardware access to the internal states. We introduce a novel representation of the predicted pose, namely Semi-Perspective Decoupled Heatmaps (SPDH), to accurately compute 3D joint locations in world coordinates adapting efficient deep networks designed for the 2D Human Pose Estimation. The proposed approach, which takes as input a depth representation based on XYZ coordinates, can be trained on synthetic depth data and applied to real-world settings without the need for domain adaptation techniques. To this end, we present the SimBa dataset, based on both synthetic and real depth images, and use it for the experimental evaluation. Results show that the proposed approach, made of a specific depth map representation and the SPDH, overcomes the current state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL