Tunnel Try-on: Excavating Spatial-temporal Tunnels for High-quality Virtual Try-on in Videos

要約

ビデオの試着は難しい作業であり、これまでの作品では十分に取り組まれていませんでした。
主な障害は、衣服の細部を保存し、一貫した動きを同時にモデル化することにあります。
これらの困難に直面して、私たちは「トンネル試着」という普及ベースのフレームワークを提案することでビデオ試着に取り組みます。
中心となるアイデアは、入力ビデオ内に「フォーカス トンネル」を掘削し、衣類領域の周囲のクローズアップ ショットを提供することです。
衣服の細部をより良く保存するために、トンネル内の領域にズームインします。
コヒーレントなモーションを生成するには、まずカルマン フィルターを活用してフォーカス トンネル内に滑らかなクロップを構築し、トンネルの位置埋め込みをアテンション レイヤーに注入して、生成されたビデオの連続性を向上させます。
さらに、トンネルの外側のコンテキスト情報を補助的な手がかりとして抽出する環境エンコーダを開発します。
これらの技術を備えたTunnel Try-onは、衣服の細部を維持し、安定した滑らかなビデオを合成します。
大きな進歩を示したトンネル試着は、ビデオでの仮想試着の商用レベルのアプリケーションに向けた最初の試みと見なすことができます。

要約(オリジナル)

Video try-on is a challenging task and has not been well tackled in previous works. The main obstacle lies in preserving the details of the clothing and modeling the coherent motions simultaneously. Faced with those difficulties, we address video try-on by proposing a diffusion-based framework named ‘Tunnel Try-on.’ The core idea is excavating a ‘focus tunnel’ in the input video that gives close-up shots around the clothing regions. We zoom in on the region in the tunnel to better preserve the fine details of the clothing. To generate coherent motions, we first leverage the Kalman filter to construct smooth crops in the focus tunnel and inject the position embedding of the tunnel into attention layers to improve the continuity of the generated videos. In addition, we develop an environment encoder to extract the context information outside the tunnels as supplementary cues. Equipped with these techniques, Tunnel Try-on keeps the fine details of the clothing and synthesizes stable and smooth videos. Demonstrating significant advancements, Tunnel Try-on could be regarded as the first attempt toward the commercial-level application of virtual try-on in videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google