RLMiniStyler: Light-weight RL Style Agent for Arbitrary Sequential Neural Style Generation

要約

任意のスタイル転送は、特定の芸術的画像のスタイルを別のコンテンツ画像に適用することを目的としています。
それでも、既存の深い学習ベースの方法では、多様な定型化された結果を生成するために、多くの場合、大幅な計算コストが必要です。
これに動機付けられて、私たちは任意のスタイル転送rlministylerのための新しい強化学習ベースのフレームワークを提案します。
このフレームワークは、統一された補強学習ポリシーを活用して、スタイリライゼーションのフィードバックを調査および悪用することにより、スタイル転送プロセスを繰り返し導き、モデルの軽量を達成しながらスタイリングされた結果のスムーズなシーケンスを生成します。
さらに、さまざまなトレーニング段階でコンテンツとスタイルのバランス要件に適応するために損失の重みを自動的に調整する不確実なマルチタスク学習戦略を導入し、それによりモデルの収束を加速します。
画像のさまざまな解像度を越えた一連の実験を通じて、高品質で多様な芸術的画像シーケンスを低コストで生成する際の他の最先端の方法よりもRLMinistylerの利点を検証しました。
コードはhttps://github.com/fengxiaoming520/rlministylerで入手できます。

要約(オリジナル)

Arbitrary style transfer aims to apply the style of any given artistic image to another content image. Still, existing deep learning-based methods often require significant computational costs to generate diverse stylized results. Motivated by this, we propose a novel reinforcement learning-based framework for arbitrary style transfer RLMiniStyler. This framework leverages a unified reinforcement learning policy to iteratively guide the style transfer process by exploring and exploiting stylization feedback, generating smooth sequences of stylized results while achieving model lightweight. Furthermore, we introduce an uncertainty-aware multi-task learning strategy that automatically adjusts loss weights to adapt to the content and style balance requirements at different training stages, thereby accelerating model convergence. Through a series of experiments across image various resolutions, we have validated the advantages of RLMiniStyler over other state-of-the-art methods in generating high-quality, diverse artistic image sequences at a lower cost. Codes are available at https://github.com/fengxiaoming520/RLMiniStyler.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google