Scaling Painting Style Transfer

要約

ニューラル スタイル転送 (NST) は、スタイル イメージからコンテンツ イメージへの前例のないリッチなスタイル転送を生成する深層学習技術です。
特に印象的なのは、スタイルを絵画から画像に移す場合です。
NST は元々、コンテンツ イメージの局所的な幾何学的特徴を維持しながら、スタイル イメージのグローバル統計と一致する最適化問題を解くことによって実現されました。
この独自のアプローチの 2 つの主な欠点は、計算コストが高いことと、高い GPU メモリ要件によって出力画像の解像度が制限されることです。
NST を高速化し、より大きなサイズの画像を生成するための多くのソリューションが提案されています。
しかし、私たちの調査によると、これらの高速化された方法はすべて、絵画スタイルの転写という観点から、生成される画像の品質を損なうものであることがわかりました。
実際、絵画のスタイルを転写することは、カラーパレットや構成スタイルからキャンバスの細かい筆運びやテクスチャに至るまで、さまざまなスケールの特徴を伴う複雑な作業です。
このペーパーでは、超高解像度 (UHR) 画像に対する独自のグローバル最適化を解決し、前例のない画像サイズでのマルチスケール NST を可能にするソリューションを提供します。
これは、VGG ネットワークを介した各順方向パスと逆方向パスの計算を空間的に局所化することによって実現されます。
広範な定性的および定量的な比較、および\textcolor{coverletter}{知覚研究}により、私たちの方法がそのような高解像度の絵画スタイルに対して比類のない品質のスタイル転送を生成することが示されています。
注意深く比較することにより、最先端の高速手法でも依然としてアーティファクトが発生しやすいことがわかり、高速なペイント スタイルの転送が依然として未解決の問題であることが示唆されます。
ソース コードは https://github.com/bgalerne/scaling_painting_style_transfer で入手できます。

要約(オリジナル)

Neural style transfer (NST) is a deep learning technique that produces an unprecedentedly rich style transfer from a style image to a content image. It is particularly impressive when it comes to transferring style from a painting to an image. NST was originally achieved by solving an optimization problem to match the global statistics of the style image while preserving the local geometric features of the content image. The two main drawbacks of this original approach is that it is computationally expensive and that the resolution of the output images is limited by high GPU memory requirements. Many solutions have been proposed to both accelerate NST and produce images with larger size. However, our investigation shows that these accelerated methods all compromise the quality of the produced images in the context of painting style transfer. Indeed, transferring the style of a painting is a complex task involving features at different scales, from the color palette and compositional style to the fine brushstrokes and texture of the canvas. This paper provides a solution to solve the original global optimization for ultra-high resolution (UHR) images, enabling multiscale NST at unprecedented image sizes. This is achieved by spatially localizing the computation of each forward and backward passes through the VGG network. Extensive qualitative and quantitative comparisons, as well as a \textcolor{coverletter}{perceptual study}, show that our method produces style transfer of unmatched quality for such high-resolution painting styles. By a careful comparison, we show that state-of-the-art fast methods are still prone to artifacts, thus suggesting that fast painting style transfer remains an open problem. Source code is available at https://github.com/bgalerne/scaling_painting_style_transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google