Self-Supervised Motion Magnification by Backpropagating Through Optical Flow

要約

この論文では、ビデオ内の微妙な動きを拡大するための簡単な自己教師ありの方法を紹介します。入力ビデオと拡大率を指定して、新しいオプティカル フローが必要な量だけスケーリングされるようにビデオを操作します。
モデルをトレーニングするために、生成されたビデオのオプティカル フローを推定し、指定された倍率からどれだけ逸脱したかにペナルティを与える損失関数を提案します。
したがって、トレーニングには、事前トレーニングされたオプティカル フロー ネットワークによる差別化が含まれます。
私たちのモデルは自己監視型であるため、入力ビデオでモデルを微調整することにより、テスト時の適応を通じてパフォーマンスをさらに向上させることができます。
また、簡単に拡張して、ユーザーが選択したオブジェクトのみのモーションを拡大することもできます。
私たちのアプローチでは、以前の学習ベースのアプローチをトレーニングするために使用されていた合成倍率データセットの必要性が回避されます。
代わりに、既製の動き推定器の既存の機能を活用します。
さまざまな現実世界および合成ビデオの視覚的品質と定量的メトリクスの両方を評価することでこの手法の有効性を実証し、教師ありおよび教師なしオプティカル フロー手法の両方で手法が機能することを示します。

要約(オリジナル)

This paper presents a simple, self-supervised method for magnifying subtle motions in video: given an input video and a magnification factor, we manipulate the video such that its new optical flow is scaled by the desired amount. To train our model, we propose a loss function that estimates the optical flow of the generated video and penalizes how far if deviates from the given magnification factor. Thus, training involves differentiating through a pretrained optical flow network. Since our model is self-supervised, we can further improve its performance through test-time adaptation, by finetuning it on the input video. It can also be easily extended to magnify the motions of only user-selected objects. Our approach avoids the need for synthetic magnification datasets that have been used to train prior learning-based approaches. Instead, it leverages the existing capabilities of off-the-shelf motion estimators. We demonstrate the effectiveness of our method through evaluations of both visual quality and quantitative metrics on a range of real-world and synthetic videos, and we show our method works for both supervised and unsupervised optical flow methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google