AesFA: An Aesthetic Feature-Aware Arbitrary Neural Style Transfer

要約

ニューラル スタイル トランスファー (NST) は近年大幅に進化しました。
しかし、その急速な進歩と進歩にもかかわらず、既存の NST 手法は、スタイルから美的情報を効果的に転送するのに苦労しているか、事前トレーニングされたモデルを使用することによる高い計算コストと特徴のもつれの解消の非効率性に悩まされています。
この研究では、軽量だが効果的なモデルである AesFA (Aesthetic Feature-Aware NST) を提案しています。
主なアイデアは、モデル全体をエンドツーエンドの方法でトレーニングし、推論時に事前トレーニングされたモデルを完全に除外しながら、周波数を介して画像を分解して、参照画像から美的スタイルをより適切に分離することです。
より明確な表現を抽出し、様式化の品質をさらに高めるネットワークの能力を向上させるために、この取り組みでは、新しい美的特徴であるコントラスト損失を導入しました。
広範な実験とアブレーションにより、このアプローチは様式化の品質の点で最近の NST 手法よりも優れているだけでなく、より高速な推論も実現できることが示されています。
コードは https://github.com/Sooyyoungg/AesFA で入手できます。

要約(オリジナル)

Neural style transfer (NST) has evolved significantly in recent years. Yet, despite its rapid progress and advancement, existing NST methods either struggle to transfer aesthetic information from a style effectively or suffer from high computational costs and inefficiencies in feature disentanglement due to using pre-trained models. This work proposes a lightweight but effective model, AesFA — Aesthetic Feature-Aware NST. The primary idea is to decompose the image via its frequencies to better disentangle aesthetic styles from the reference image while training the entire model in an end-to-end manner to exclude pre-trained models at inference completely. To improve the network’s ability to extract more distinct representations and further enhance the stylization quality, this work introduces a new aesthetic feature: contrastive loss. Extensive experiments and ablations show the approach not only outperforms recent NST methods in terms of stylization quality, but it also achieves faster inference. Codes are available at https://github.com/Sooyyoungg/AesFA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google