3D Segmentation of Humans in Point Clouds with Synthetic Data

要約

人間中心のロボティクスや AR/VR アプリケーションの台頭に伴い、屋内の 3D シーンで人間をセグメント化することがますます重要になっています。
この方向では、3D の人間のセマンティック、インスタンス、および複数の人間の身体部分のセグメンテーションのタスクを探ります。
点群 (または深度マップ) で人間を直接セグメント化しようとした研究はほとんどありません。これは主に、3D シーンと対話する人間に関するトレーニング データが不足しているためです。
この課題に取り組み、リアルな 3D シーンで仮想人間を合成するためのフレームワークを提案します。
合成点群データは、実際の深度と合成深度の間のドメイン ギャップが画像に比べて小さいため、魅力的です。
合成データと現実的なデータの組み合わせを使用したさまざまなトレーニング スキームの分析では、事前トレーニング用の合成データによって、さまざまなセグメンテーション タスクとモデルのパフォーマンスが向上することが示されています。
さらに、上記のすべてのセグメンテーション タスクを統一された方法で実行する Human3D と呼ばれる、3D の複数の人間の身体部分のセグメンテーションのための最初のエンド ツー エンド モデルを提案します。
驚くべきことに、Human3D は、以前のタスク固有の最先端の方法よりも優れています。
最後に、提案されたトレーニング スキームとセグメンテーション モデルを比較するために、EgoBody のテスト シーンで手動で人間に注釈を付けます。

要約(オリジナル)

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google