Disentangled Pre-training for Image Matting

要約

タイトル：Disentangled Pre-training for Image Matting
概要：この論文では、画像マッティングのために、深層学習モデルのトレーニングをサポートするために高品質のピクセル単位のヒト注釈が必要であることが述べられています。しかし、そのような注釈はコストがかかり、拡大するのが難しく、研究の発展を大きく妨げている。この問題に取り組むため、この研究では、無限のデータを利用してマッティングの性能を向上させることができる自己監督学習のアプローチを提案しています。事前トレーニングタスクは、ランダムなトリマップとアルファマットが生成されるように設計されています。そして、そのモデルをマッティングタスクの微調整の初期化として使用します。広範な実験評価により、提案手法は従来のマッティング手法や他の代替自己監督学習手法よりも大幅に優れていることが示されています。また、提案手法のバックボーンアーキテクチャに対する頑健性も示されています。コードとモデルは公開される予定です。

– 画像マッティングにおいて、高品質なピクセル単位のヒト注釈が必要であることが問題である
– この研究では、自己監督学習アプローチにより、無限のデータを利用して高性能なマッティングを実現することを提案している
– 提案手法は、画像マッティングと似た形式のトリマップとアルファマットを生成する事前トレーニングタスクを使用している
– 提案手法は、従来のマッティング手法や他の代替自己監督学習手法よりも大幅に優れていることが実験評価により示されている
– 提案手法は、バックボーンアーキテクチャに対する頑健性がある
– 提案手法のコードとモデルは公開される予定である

要約(オリジナル)

Image matting requires high-quality pixel-level human annotations to support the training of a deep model in recent literature. Whereas such annotation is costly and hard to scale, significantly holding back the development of the research. In this work, we make the first attempt towards addressing this problem, by proposing a self-supervised pre-training approach that can leverage infinite numbers of data to boost the matting performance. The pre-training task is designed in a similar manner as image matting, where random trimap and alpha matte are generated to achieve an image disentanglement objective. The pre-trained model is then used as an initialisation of the downstream matting task for fine-tuning. Extensive experimental evaluations show that the proposed approach outperforms both the state-of-the-art matting methods and other alternative self-supervised initialisation approaches by a large margin. We also show the robustness of the proposed approach over different backbone architectures. The code and models will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI