Mask-Guided Image Person Removal with Data Synthesis

要約

一般的なオブジェクトの削除の特殊なケースとして、画像の人物の削除は、ソーシャル メディアや犯罪捜査の分野でますます重要な役割を果たしています。
人の領域の完全性と人の姿勢の複雑さのために、人の除去には独自のジレンマがあります。
この論文では、データ合成の観点からこれらの問題に取り組むための新しいアイデアを提案します。
画像人物除去専用のデータセットがないことに関して、画像、マスク、グラウンド トゥルースをそれぞれ自動生成する 2 つのデータセット作成方法が提案されています。
次に、局所的な画像劣化に似た学習フレームワークが提案され、マスクを使用して特徴抽出プロセスをガイドし、最終的な予測のためにより多くのテクスチャ情報を収集できます。
詳細を調整するために、粗いものから細かいものへのトレーニング戦略がさらに適用されます。
データ合成と学習フレームワークは、互いにうまく組み合わされています。
実験結果は、定量的および定性的にこの方法の有効性を検証し、トレーニングされたネットワークは、実際の画像または合成画像のいずれかで優れた一般化機能を備えていることが証明されています。

要約(オリジナル)

As a special case of common object removal, image person removal is playing an increasingly important role in social media and criminal investigation domains. Due to the integrity of person area and the complexity of human posture, person removal has its own dilemmas. In this paper, we propose a novel idea to tackle these problems from the perspective of data synthesis. Concerning the lack of dedicated dataset for image person removal, two dataset production methods are proposed to automatically generate images, masks and ground truths respectively. Then, a learning framework similar to local image degradation is proposed so that the masks can be used to guide the feature extraction process and more texture information can be gathered for final prediction. A coarse-to-fine training strategy is further applied to refine the details. The data synthesis and learning framework combine well with each other. Experimental results verify the effectiveness of our method quantitatively and qualitatively, and the trained network proves to have good generalization ability either on real or synthetic images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google