HyperNST: Hyper-Networks for Neural Style Transfer

要約

我々は、ハイパーネットワークとStyleGAN2アーキテクチャに基づく、画像の芸術的な様式化のためのニューラル・スタイル・トランスファー（NST）技術であるHyperNSTを紹介します。本論文では、スタイルに基づく視覚的探索（SBVS）のために事前に訓練されたメトリック空間によってパラメータ化されたスタイル転送を誘導するための新しい方法について述べる。このような空間がNSTの駆動に利用され、SBVSシステムからのスタイルの適用と補間を可能にすることを初めて示しました。技術的な貢献は、多様な芸術的コンテンツ（肖像画）に対して事前に学習したStyleGAN2への重み更新を予測するハイパーネットワークで、顔領域の意味マップを使用して領域ごとにスタイルのパラメータ化を調整するものである。我々は、HyperNSTが、スタイル付きコンテンツのコンテンツ保存において、優れたスタイル転送性能を保持しながら、最先端の技術を超えることを示す。

要約(オリジナル)

We present HyperNST; a neural style transfer (NST) technique for the artistic stylization of images, based on Hyper-networks and the StyleGAN2 architecture. Our contribution is a novel method for inducing style transfer parameterized by a metric space, pre-trained for style-based visual search (SBVS). We show for the first time that such space may be used to drive NST, enabling the application and interpolation of styles from an SBVS system. The technical contribution is a hyper-network that predicts weight updates to a StyleGAN2 pre-trained over a diverse gamut of artistic content (portraits), tailoring the style parameterization on a per-region basis using a semantic map of the facial regions. We show HyperNST to exceed state of the art in content preservation for our stylized content while retaining good style transfer performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL