3D Segmentation of Humans in Point Clouds with Synthetic Data

要約

3D室内シーンにおける人間のセグメンテーションは、人間中心のロボット工学やAR/VRアプリケーションの台頭により、ますます重要性を増している。この方向性で、我々は3D人間のセマンティック、インスタンス、およびマルチヒューマンボディパーツセグメンテーションのタスクを探求する。点群（または深度マップ）中の人間を直接セグメンテーションすることを試みた作品はほとんどないが、これは3Dシーンとインタラクションする人間に関する学習データがないことが主な原因である。我々はこの課題に取り組み、リアルな3Dシーンにおける仮想的な人間を合成するためのフレームワークを提案する。合成点群データは、画像と比較して現実の深度と合成深度の間の領域ギャップが小さいため、魅力的である。合成データと実データを組み合わせた様々な学習スキームを分析した結果、事前学習のための合成データが、様々なセグメンテーションタスクやモデルにおいてパフォーマンスを向上させることが分かった。さらに、我々はHuman3Dと呼ばれる3Dマルチヒューマンボディパーツセグメンテーションのための最初のエンドツーエンドモデルを提案し、上記のすべてのセグメンテーションタスクを統一的に実行することができる。驚くべきことに、Human3Dは、従来のタスクに特化した最先端手法をも凌駕する性能を発揮する。最後に、提案する学習スキームとセグメンテーションモデルを比較するために、EgoBodyのテストシーンに人物のアノテーションを手動で行う。

要約(オリジナル)

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL