Body Segmentation Using Multi-task Learning

要約

身体のセグメンテーションは、人間の画像を含む多くのコンピューター ビジョンの問題で重要なステップであり、すべてのダウンストリーム タスクのパフォーマンスに影響を与える重要なコンポーネントの 1 つです。
いくつかの以前の研究では、異なるタスク間の相関関係を利用してセグメンテーションのパフォーマンスを向上させるマルチタスク モデルを使用して、この問題に取り組みました。
このようなソリューションの成功に基づいて、このホワイト ペーパーでは、(i) キーポイント ベースのスケルトン推定、(ii) 密な姿勢予測、および (iii) の 3 つのタスクを含む、人間のセグメンテーション/解析のための新しいマルチタスク モデルを提示します。
) 人体セグメンテーション。
提案されたセグメンテーション–ポーズ–DensePose モデル (または略して SPD) の背後にある主なアイデアは、関連するさまざまなタスク間で知識を共有することによって、より優れたセグメンテーション モデルを学習することです。
SPD は、3 つのタスク固有のモデル ヘッドに分岐する共有ディープ ニューラル ネットワーク バックボーンに基づいており、マルチタスク最適化目標を使用して学習されます。
モデルのパフォーマンスは、LIP および ATR データセットでの厳密な実験を通じて分析され、最近の (最先端の) マルチタスク ボディ セグメンテーション モデルと比較されます。
包括的なアブレーション研究も掲載されています。
私たちの実験結果は、提案されたマルチタスク (セグメンテーション) モデルが非常に競争力があり、追加のタスクの導入がより高い全体的なセグメンテーション パフォーマンスに貢献することを示しています。

要約(オリジナル)

Body segmentation is an important step in many computer vision problems involving human images and one of the key components that affects the performance of all downstream tasks. Several prior works have approached this problem using a multi-task model that exploits correlations between different tasks to improve segmentation performance. Based on the success of such solutions, we present in this paper a novel multi-task model for human segmentation/parsing that involves three tasks, i.e., (i) keypoint-based skeleton estimation, (ii) dense pose prediction, and (iii) human-body segmentation. The main idea behind the proposed Segmentation–Pose–DensePose model (or SPD for short) is to learn a better segmentation model by sharing knowledge across different, yet related tasks. SPD is based on a shared deep neural network backbone that branches off into three task-specific model heads and is learned using a multi-task optimization objective. The performance of the model is analysed through rigorous experiments on the LIP and ATR datasets and in comparison to a recent (state-of-the-art) multi-task body-segmentation model. Comprehensive ablation studies are also presented. Our experimental results show that the proposed multi-task (segmentation) model is highly competitive and that the introduction of additional tasks contributes towards a higher overall segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google