Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks

要約

本論文では、合成データのみを用いて学習させたDeep Convolutional Neural Networksに基づく、人体部位のセグメンテーションのための新しいフレームワークを提示する。提案するアプローチは、人体パーツの実際のアノテーションデータを用いてモデルを訓練する必要なく、最先端の結果を達成する。また、エッジレスポンスマップと適応的ヒストグラム等化を組み合わせた新しい前処理モジュールにより、照明条件の変化に対する頑健性を確保しながら、人体パーツの形状を学習するようネットワークを誘導します。最適なアーキテクチャを選択するために、我々は実際の人体四肢の手動注釈付き画像に対して徹底的なテストを実施した。さらに、本手法を、市販のハイエンドなセグメンテーションツール数種と、体部位のセグメンテーションタスクにおいて比較した。その結果、我々の手法は他のモデルよりも有意な差をもって優れていることが示された。最後に、我々の前処理モジュールを検証するために、切除の研究を紹介する。本論文では、提案手法の実装と、取得したデータセットを公開する。

要約(オリジナル)

This paper presents a new framework for human body part segmentation based on Deep Convolutional Neural Networks trained using only synthetic data. The proposed approach achieves cutting-edge results without the need of training the models with real annotated data of human body parts. Our contributions include a data generation pipeline, that exploits a game engine for the creation of the synthetic data used for training the network, and a novel pre-processing module, that combines edge response maps and adaptive histogram equalization to guide the network to learn the shape of the human body parts ensuring robustness to changes in the illumination conditions. For selecting the best candidate architecture, we perform exhaustive tests on manually annotated images of real human body limbs. We further compare our method against several high-end commercial segmentation tools on the body parts segmentation task. The results show that our method outperforms the other models by a significant margin. Finally, we present an ablation study to validate our pre-processing module. With this paper, we release an implementation of the proposed approach along with the acquired datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL