NeAT: Neural Artistic Tracing for Beautiful Style Transfer

要約

タイトル：美しいスタイルトランスファ用ニューラルアートレーシングNeAT

要約：
– スタイルトランスファーは、第2のターゲット画像の芸術スタイルで元のソース画像の意味的コンテンツを再現するタスクである。
– この論文では、NeATという新しい最先端のフィードフォワードスタイルトランスファーメソッドを提案している。
– 我々は、イメージ生成ではなくイメージ編集としてフィードフォワードスタイルトランスファを再定式化し、ソースコンテンツの保存とターゲットスタイルのマッチングの両方で最先端を改善するモデルを生成する。
– モデルの成功の重要な要素の1つは、多くのスタイルトランスファテクニックに広く見られる「スタイルハロー」を特定して修正することである。
– 標準データセットでのトレーニングとテストに加えて、4Mの画像の大規模な高解像度データセットであるBBST-4Mデータセットを紹介する。このデータを収集する際に、画像がスタイル的かどうかを分類できる新しいモデルを提供する。
– 我々は、BBST-4Mを使用して、NeATの多様なスタイルに対する汎化能力を改善し、測定することができる。
– NeATは、最先端の品質と汎用性を提供するだけでなく、高解像度での高速推論向けに設計・トレーニングされている。

要約(オリジナル)

Style transfer is the task of reproducing the semantic contents of a source image in the artistic style of a second target image. In this paper, we present NeAT, a new state-of-the art feed-forward style transfer method. We re-formulate feed-forward style transfer as image editing, rather than image generation, resulting in a model which improves over the state-of-the-art in both preserving the source content and matching the target style. An important component of our model’s success is identifying and fixing ‘style halos’, a commonly occurring artefact across many style transfer techniques. In addition to training and testing on standard datasets, we introduce the BBST-4M dataset, a new, large scale, high resolution dataset of 4M images. As a component of curating this data, we present a novel model able to classify if an image is stylistic. We use BBST-4M to improve and measure the generalization of NeAT across a huge variety of styles. Not only does NeAT offer state-of-the-art quality and generalization, it is designed and trained for fast inference at high resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI