EasyPortrait – Face Parsing and Portrait Segmentation Dataset

要約

タイトル：EasyPortrait- 顔パーシングとポートレートセグメンテーションのデータセット
要約：
– コロナ禍により、ビデオ会議アプリの需要が増え、ビデオチャットの最も価値のある機能は、リアルタイムに背景を除去したり、顔を美化すること。
– これらのタスクを解決する際、コンピュータビジョンの研究者は学習段階で適切なデータの問題に直面する。
– 特に、ラップトップやスマートフォンのカメラの前の人々の高品質なラベル付きかつ多様な画像を使用した軽量モデルの学習に適した大規模なデータセットは存在しない。
– この分野の進歩を加速するために、ポートレートセグメンテーションと顔パーシングタスクのための新しい画像データセット、EasyPortraitを提供する。
– このデータセットには、8,377人のユニークなユーザーの20,000枚の主に室内写真と、9つのクラスに分けられた細かいセグメンテーションマスクが含まれる。
– 画像はクラウドソーシングプラットフォームから収集されてラベル付けされており、ほとんどの顔パーシングデータセットと異なり、EasyPortraitでは口の中の部分は歯から分離され、ヒゲは肌のマスクの一部として考慮されていない。
– これらの特徴により、EasyPortraitはスキンエンハンスと歯のホワイトニングのタスクに使用できる。
– 本論文では、クラウドソーシングプラットフォームを使用した大規模でクリーンな画像セグメンテーションデータセットの作成パイプラインについて説明し、EasyPortraitでいくつかのモデルをトレーニングして実験結果を示した。提案されたデータセットとトレーニングされたモデルは公開されている。

要約(オリジナル)

Recently, due to COVID-19 and the growing demand for remote work, video conferencing apps have become especially widespread. The most valuable features of video chats are real-time background removal and face beautification. While solving these tasks, computer vision researchers face the problem of having relevant data for the training stage. There is no large dataset with high-quality labeled and diverse images of people in front of a laptop or smartphone camera to train a lightweight model without additional approaches. To boost the progress in this area, we provide a new image dataset, EasyPortrait, for portrait segmentation and face parsing tasks. It contains 20,000 primarily indoor photos of 8,377 unique users, and fine-grained segmentation masks separated into 9 classes. Images are collected and labeled from crowdsourcing platforms. Unlike most face parsing datasets, in EasyPortrait, the beard is not considered part of the skin mask, and the inside area of the mouth is separated from the teeth. These features allow using EasyPortrait for skin enhancement and teeth whitening tasks. This paper describes the pipeline for creating a large-scale and clean image segmentation dataset using crowdsourcing platforms without additional synthetic data. Moreover, we trained several models on EasyPortrait and showed experimental results. Proposed dataset and trained models are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI