Dynamic Texture Transfer using PatchMatch and Transformers

要約

特定のビデオの動的テクスチャをターゲットの静止画像にどのように自動的に転送するかは、挑戦的かつ継続的な問題です。
このペーパーでは、PatchMatch と Transformers の両方を利用する、シンプルかつ効果的なモデルを介してこのタスクを処理することを提案します。
重要なアイデアは、動的テクスチャ転送のタスクを 2 つの段階に分解することです。最初の段階では、PatchMatch アルゴリズムに基づく距離マップ ガイド付きテクスチャ転送モジュールを介して、目的の動的テクスチャを持つターゲット ビデオの開始フレームが合成されます。
次に、第 2 段階では、合成された画像が構造に依存しないパッチに分解され、それに応じて、長い離散シーケンスを処理するための VQ-VAE を備えたトランスフォーマーの強力な機能を利用して、対応する後続のパッチを予測できます。
これらすべてのパッチを取得した後、ガウス加重平均マージ戦略を適用して、それらをターゲットの様式化されたビデオの各フレームにスムーズに組み立てます。
実験結果は、最先端技術と比較して、動的テクスチャ転送における提案された方法の有効性と優位性を示しています。

要約(オリジナル)

How to automatically transfer the dynamic texture of a given video to the target still image is a challenging and ongoing problem. In this paper, we propose to handle this task via a simple yet effective model that utilizes both PatchMatch and Transformers. The key idea is to decompose the task of dynamic texture transfer into two stages, where the start frame of the target video with the desired dynamic texture is synthesized in the first stage via a distance map guided texture transfer module based on the PatchMatch algorithm. Then, in the second stage, the synthesized image is decomposed into structure-agnostic patches, according to which their corresponding subsequent patches can be predicted by exploiting the powerful capability of Transformers equipped with VQ-VAE for processing long discrete sequences. After getting all those patches, we apply a Gaussian weighted average merging strategy to smoothly assemble them into each frame of the target stylized video. Experimental results demonstrate the effectiveness and superiority of the proposed method in dynamic texture transfer compared to the state of the art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google