Controllable Style Transfer via Test-time Training of Implicit Neural Representation

要約

テスト時間トレーニングを介して定型化された出力をピクセル単位で制御する、暗黙的ニューラル表現に基づく制御可能なスタイル転送フレームワークを提案します。
集中的なトレーニングを必要とし、一般化能力が制限されている不安定な収束や学習ベースの方法に悩まされることが多い従来の画像最適化方法とは異なり、スタイル転送のための明示的な損失関数を使用して、テスト時にニューラル ネットワークを最適化するモデル最適化フレームワークを提示します。
INR ベースのモデルの柔軟性のおかげで、フレームワークは一度テストタイム トレーニングを受けた後、定型化された画像をピクセル単位で正確に制御し、さらに最適化やトレーニングを行うことなく画像の解像度を自由に調整できます。
いくつかのアプリケーションを示します。

要約(オリジナル)

We propose a controllable style transfer framework based on Implicit Neural Representation that pixel-wisely controls the stylized output via test-time training. Unlike traditional image optimization methods that often suffer from unstable convergence and learning-based methods that require intensive training and have limited generalization ability, we present a model optimization framework that optimizes the neural networks during test-time with explicit loss functions for style transfer. After being test-time trained once, thanks to the flexibility of the INR-based model, our framework can precisely control the stylized images in a pixel-wise manner and freely adjust image resolution without further optimization or training. We demonstrate several applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google