HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving

要約

自動運転はエキサイティングな新しい産業であり、重要な研究課題を提起しています。
認識モジュール内での 3D 人間の姿勢推定は、自律走行車が歩行者の微妙で複雑な行動を認識して理解できるようにする新しいテクノロジです。
ハードウェア システムとセンサーは、数十年にわたって劇的に改善されてきましたが、自動車は潜在的に複雑な LiDAR とビジョン システムを誇り、この新たに利用可能になった情報専用のデータセットの利用可能な本体がますます拡大していますが、これらを利用するための作業はあまり行われていません。
3D人間の姿勢推定のコア問題に対する新しい信号。
HUM3DIL (Images and LiDAR の HUMan 3D) と名付けた私たちの方法は、半教師ありの方法でこれらの相補信号を効率的に利用し、既存の方法よりも大きなマージンで優れています。
オンボード展開のための高速でコンパクトなモデルです。
具体的には、LiDAR ポイントをピクセルで整列されたマルチモーダル機能に埋め込み、一連の Transformer 改良段階を通過させます。
Waymo Open Dataset での定量的実験は、これらの主張を裏付けており、3D 姿勢推定のタスクで最先端の結果を達成しています。

要約(オリジナル)

Autonomous driving is an exciting new industry, posing important research questions. Within the perception module, 3D human pose estimation is an emerging technology, which can enable the autonomous vehicle to perceive and understand the subtle and complex behaviors of pedestrians. While hardware systems and sensors have dramatically improved over the decades — with cars potentially boasting complex LiDAR and vision systems and with a growing expansion of the available body of dedicated datasets for this newly available information — not much work has been done to harness these novel signals for the core problem of 3D human pose estimation. Our method, which we coin HUM3DIL (HUMan 3D from Images and LiDAR), efficiently makes use of these complementary signals, in a semi-supervised fashion and outperforms existing methods with a large margin. It is a fast and compact model for onboard deployment. Specifically, we embed LiDAR points into pixel-aligned multi-modal features, which we pass through a sequence of Transformer refinement stages. Quantitative experiments on the Waymo Open Dataset support these claims, where we achieve state-of-the-art results on the task of 3D pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google