Modernizing Old Photos Using Multiple References via Photorealistic Style Transfer

要約

タイトル：複数のリファレンスを用いたフォトリアリスティックスタイル転送を経由した古い写真の現代化

要約：
– 著者らは、古い写真をスタイル化とエンハンスメントを一体化してモダン化する方法を提案している。
– 古い写真を現代化するため、MROPM-Netと新しい合成データジェネレーションスキームから構成されるMROPMと呼ばれる著作物マルチリファレンスベースの古い写真を現代化する方法を提案している。
– MROPM-Netは、古い写真をフォトリアリスティックスタイル転送（PST）を介して複数のリファレンスを用いてスタイル化し、その結果を強化して現代風の画像を生成する。
– 合成データ生成スキームにより、ネットワークをトレーニングして、複数のリファレンスを効果的に利用して現代化を実現する。
– 性能を評価するために、多様な自然の屋内外のシーンから構成される新しい古い写真ベンチマークデータセット（CHD）を提案している。
– 幅広い実験により、提案手法が他のベースラインを凌駕し、トレーニング中に古い写真を使用しなくても実際の古い写真を現代化する性能があることが示されている。
– さらに、著作物の各意味のある領域に対して複数のリファレンスからスタイルを適切に選択し、現代化の性能をさらに改善することができる。

要約(オリジナル)

This paper firstly presents old photo modernization using multiple references by performing stylization and enhancement in a unified manner. In order to modernize old photos, we propose a novel multi-reference-based old photo modernization (MROPM) framework consisting of a network MROPM-Net and a novel synthetic data generation scheme. MROPM-Net stylizes old photos using multiple references via photorealistic style transfer (PST) and further enhances the results to produce modern-looking images. Meanwhile, the synthetic data generation scheme trains the network to effectively utilize multiple references to perform modernization. To evaluate the performance, we propose a new old photos benchmark dataset (CHD) consisting of diverse natural indoor and outdoor scenes. Extensive experiments show that the proposed method outperforms other baselines in performing modernization on real old photos, even though no old photos were used during training. Moreover, our method can appropriately select styles from multiple references for each semantic region in the old photo to further improve the modernization performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI