要約
フォトリアリスティック スタイルの転送は、フォトリアリズムを維持しながら、画像の芸術的なスタイルを入力画像またはビデオに転送することを目的としています。
この論文では、非現実的な様式化につながるのは、既存のアルゴリズムの要約統計マッチング スキームであると考えています。
人気のあるグラム損失の採用を避けるために、スタイルの削除部分とスタイルの復元部分を含む、自己管理型のスタイル転送フレームワークを提案します。
スタイル削除ネットワークは元の画像スタイルを削除し、スタイル復元ネットワークは監視された方法で画像スタイルを復元します。
一方、現在の機能変換方法の問題に対処するために、分離されたインスタンスの正規化を提案して、機能変換をスタイルのホワイトニングと再スタイル化に分解します。
ColoristaNet で非常にうまく機能し、フォトリアリズムを維持しながら画像スタイルを効率的に転送できます。
時間的な一貫性を確保するために、オプティカル フロー メソッドと ConvLSTM を組み込み、コンテキスト情報を埋め込みます。
実験では、最先端のアルゴリズムと比較して、ColoristaNet がより優れた様式化効果を達成できることが実証されています。
要約(オリジナル)
Photorealistic style transfer aims to transfer the artistic style of an image onto an input image or video while keeping photorealism. In this paper, we think it’s the summary statistics matching scheme in existing algorithms that leads to unrealistic stylization. To avoid employing the popular Gram loss, we propose a self-supervised style transfer framework, which contains a style removal part and a style restoration part. The style removal network removes the original image styles, and the style restoration network recovers image styles in a supervised manner. Meanwhile, to address the problems in current feature transformation methods, we propose decoupled instance normalization to decompose feature transformation into style whitening and restylization. It works quite well in ColoristaNet and can transfer image styles efficiently while keeping photorealism. To ensure temporal coherency, we also incorporate optical flow methods and ConvLSTM to embed contextual information. Experiments demonstrates that ColoristaNet can achieve better stylization effects when compared with state-of-the-art algorithms.
arxiv情報
| 著者 | Xiaowen Qiu,Ruize Xu,Boan He,Yingtao Zhang,Wenqiang Zhang,Weifeng Ge |
| 発行日 | 2022-12-21 08:58:14+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google