Rethinking Portrait Matting with Privacy Preserving

要約

タイトル：プライバシー保存の観点から肖像マッティングを再考する

要約：
– 機械学習における個人識別情報をめぐるプライバシー問題についての懸念が高まっており、この問題に対して従来の肖像マッティング手法はすべて個人を識別できる画像に基づいていた。
– このギャップを埋めるために、我々は Privacy-Preserving Portrait Matting (P3M) のための初めての大規模匿名ベンチマークである P3M-10k を提案する。
– P3M-10k には、10,421枚の高解像度顔ぼかし肖像画像と高品質のアルファマットが含まれており、トリマップフリーとトリマップベースのマッティング手法をシステム的に評価し、プライバシー保存トレーニング (PPT) 設定下でのモデル汎化性能に関する有用な知見を得ることができる。
– また、CNNとトランスフォーマーバックボーンの両方に互換性のある統一されたマッティングモデルである P3M-Net を提供する。
– PPT設定下でのドメイン間パフォーマンスギャップ問題をさらに軽減するために、公共セレブリティ画像から顔情報を借用し、ネットワークに顔のコンテキストをデータおよび特徴レベルで再獲得させる単純で効果的なコピー・アンド・ペースト戦略 (P3M-CP) を考案する。
– P3M-10kおよびパブリックベンチマークでの詳細な実験は、P3M-Netが最先端の手法に優越しており、P3M-CPがドメイン間汎化能力を向上させる効果があることを示し、P3Mが将来の研究や現実世界のアプリケーションにおいて重要であることを示唆している。

要約(オリジナル)

Recently, there has been an increasing concern about the privacy issue raised by identifiable information in machine learning. However, previous portrait matting methods were all based on identifiable images. To fill the gap, we present P3M-10k, which is the first large-scale anonymized benchmark for Privacy-Preserving Portrait Matting (P3M). P3M-10k consists of 10,421 high resolution face-blurred portrait images along with high-quality alpha mattes, which enables us to systematically evaluate both trimap-free and trimap-based matting methods and obtain some useful findings about model generalization ability under the privacy preserving training (PPT) setting. We also present a unified matting model dubbed P3M-Net that is compatible with both CNN and transformer backbones. To further mitigate the cross-domain performance gap issue under the PPT setting, we devise a simple yet effective Copy and Paste strategy (P3M-CP), which borrows facial information from public celebrity images and directs the network to reacquire the face context at both data and feature level. Extensive experiments on P3M-10k and public benchmarks demonstrate the superiority of P3M-Net over state-of-the-art methods and the effectiveness of P3M-CP in improving the cross-domain generalization ability, implying a great significance of P3M for future research and real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI