Weakly Supervised Multi-Modal 3D Human Body Pose Estimation for Autonomous Driving

要約

正確な 3D 人間姿勢推定 (3D HPE) は、自動運転車 (AV) が情報に基づいた意思決定を行い、重要な道路シナリオでプロアクティブに対応できるようにするために重要です。
3D HPE の有望な結果は、人間とコンピューターのインタラクション、ロボット工学、スポーツ、医療分析などのいくつかの分野で得られており、多くの場合、よく管理された実験室環境で収集されたデータに基づいています。
それにもかかわらず、正確な 3D ポーズ注釈を取得することによってもたらされる課題と、他のドメインからのデータの適合性が限られているため、AV への 3D HPE メソッドの移転は、研究の注目が限られています。
カメラと LiDAR データの間の高レベルのセンサー フュージョンを採用することにより、AV コンテキストにおける 3D HPE に対するシンプルかつ効率的な弱教師ありアプローチを提案します。
弱監視設定では、既製の 2D ジョイント エクストラクターと、画像投影に対して LiDAR から生成された擬似ラベルを使用することで、2D/3D キーポイント ラベルなしでターゲット データセットでトレーニングを行うことができます。
私たちのアプローチは、弱監視設定では Waymo Open Dataset で最先端の結果を最大 $\sim$ 13% 上回り、監視あり設定では最先端の結果を達成します。

要約(オリジナル)

Accurate 3D human pose estimation (3D HPE) is crucial for enabling autonomous vehicles (AVs) to make informed decisions and respond proactively in critical road scenarios. Promising results of 3D HPE have been gained in several domains such as human-computer interaction, robotics, sports and medical analytics, often based on data collected in well-controlled laboratory environments. Nevertheless, the transfer of 3D HPE methods to AVs has received limited research attention, due to the challenges posed by obtaining accurate 3D pose annotations and the limited suitability of data from other domains. We present a simple yet efficient weakly supervised approach for 3D HPE in the AV context by employing a high-level sensor fusion between camera and LiDAR data. The weakly supervised setting enables training on the target datasets without any 2D/3D keypoint labels by using an off-the-shelf 2D joint extractor and pseudo labels generated from LiDAR to image projections. Our approach outperforms state-of-the-art results by up to $\sim$ 13% on the Waymo Open Dataset in the weakly supervised setting and achieves state-of-the-art results in the supervised setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google