CoDeF: Content Deformation Fields for Temporally Consistent Video Processing

要約

我々は、新しいタイプのビデオ表現としてコンテンツ変形フィールド CoDeF を提示します。これは、ビデオ全体の静的コンテンツを集約する正規コンテンツ フィールドと、正規画像 (つまり、正規コンテンツからレンダリングされた) からの変換を記録する時間変形フィールドで構成されます。
ターゲットビデオが与えられると、これら 2 つのフィールドは、慎重に調整されたレンダリング パイプラインを通じて再構築するために共同で最適化されます。最適化プロセスにいくつかの正則化を導入し、正規コンテンツ フィールドがセマンティクスを継承するように促すことをお勧めします。
このような設計により、CoDeF は、画像アルゴリズムを正規画像に適用し、その結果をビデオ全体に簡単に伝播できるという意味で、ビデオ処理用のリフティング画像アルゴリズムを自然にサポートします。
私たちは、CoDeF がトレーニングなしで画像から画像への変換をビデオからビデオへの変換に引き上げ、キーポイント検出をキーポイント追跡に引き上げることができることを実験的に示しています。さらに重要なのは、リフティング戦略のおかげです。
アルゴリズムを 1 つの画像のみに展開し、既存のビデオからビデオへの変換アプローチと比較して、処理されたビデオで優れたフレーム間の一貫性を実現し、水やスモッグなどの非剛体オブジェクトの追跡も管理します。プロジェクト ページは https にあります。
://qiuyu96.github.io/CoDeF/。

要約(オリジナル)

We present the content deformation field CoDeF as a new type of video representation, which consists of a canonical content field aggregating the static contents in the entire video and a temporal deformation field recording the transformations from the canonical image (i.e., rendered from the canonical content field) to each individual frame along the time axis.Given a target video, these two fields are jointly optimized to reconstruct it through a carefully tailored rendering pipeline.We advisedly introduce some regularizations into the optimization process, urging the canonical content field to inherit semantics (e.g., the object shape) from the video.With such a design, CoDeF naturally supports lifting image algorithms for video processing, in the sense that one can apply an image algorithm to the canonical image and effortlessly propagate the outcomes to the entire video with the aid of the temporal deformation field.We experimentally show that CoDeF is able to lift image-to-image translation to video-to-video translation and lift keypoint detection to keypoint tracking without any training.More importantly, thanks to our lifting strategy that deploys the algorithms on only one image, we achieve superior cross-frame consistency in processed videos compared to existing video-to-video translation approaches, and even manage to track non-rigid objects like water and smog.Project page can be found at https://qiuyu96.github.io/CoDeF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google