HyperCUT: Video Sequence from a Single Blurry Image using Unsupervised Ordering

要約

タイトル：ハイパーカット：無監督順序を使用した単一のぼやけた画像からのビデオシーケンス

要約：

– この論文では、与えられたぼやけた画像入力に対応するシャープな画像のシーケンスを回復することを目的とした、画像からビデオへのモデルの訓練の難しいタスクを考慮しています。
– 画像からビデオへのモデルの訓練を乱す重要な問題は、前向きと後ろ向きのシーケンスの両方が正当な解であることから、フレームの順序の曖昧さです。
– この論文は、高品質の画像からビデオへのぼやけ除去モデルをトレーニングすることを可能にする効果的な自己監督順序スキームを提案しています。
– 従来の方法が順序不変ロスに依存するのに対し、私たちはそれぞれのビデオシーケンスに明示的な順序を割り当て、順序の曖昧さを回避します。
– 具体的には、各ビデオシーケンスを潜在的な高次元空間内のベクトルにマップし、それぞれのベクトルがハイパープレーンの異なる側に存在するようにします。
– ベクトルの側は、対応するシーケンスの順序を定義するために使用されます。
– さらに、顔、手、ストリートなどのさまざまな人気のあるドメインをカバーする、画像からビデオへのぼやけ除去問題の実際の画像データセットを提案しています。
– 広範囲に渡る実験結果は、私たちの方法の有効性を確認しています。コードとデータは https://github.com/VinAIResearch/HyperCUT.git で利用可能です。

要約(オリジナル)

We consider the challenging task of training models for image-to-video deblurring, which aims to recover a sequence of sharp images corresponding to a given blurry image input. A critical issue disturbing the training of an image-to-video model is the ambiguity of the frame ordering since both the forward and backward sequences are plausible solutions. This paper proposes an effective self-supervised ordering scheme that allows training high-quality image-to-video deblurring models. Unlike previous methods that rely on order-invariant losses, we assign an explicit order for each video sequence, thus avoiding the order-ambiguity issue. Specifically, we map each video sequence to a vector in a latent high-dimensional space so that there exists a hyperplane such that for every video sequence, the vectors extracted from it and its reversed sequence are on different sides of the hyperplane. The side of the vectors will be used to define the order of the corresponding sequence. Last but not least, we propose a real-image dataset for the image-to-video deblurring problem that covers a variety of popular domains, including face, hand, and street. Extensive experimental results confirm the effectiveness of our method. Code and data are available at https://github.com/VinAIResearch/HyperCUT.git

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI