ATCA: an Arc Trajectory Based Model with Curvature Attention for Video Frame Interpolation

要約

ビデオ フレームの補間は、古典的で挑戦的な低レベルのコンピューター ビジョン タスクです。
近年、深層学習に基づく手法が目覚ましい成果を上げており、オプティカルフローに基づく手法がより高品質なフレームを合成できることが証明されています。
ただし、ほとんどのフローベースの方法では、2 つの入力フレーム間で速度が一定の線の軌跡が想定されています。
わずかな作業で曲線軌道による予測が強制されますが、これには加速度を推定するための入力として 2 つ以上のフレームが必要であり、実行にはより多くの時間とメモリが必要です。
この問題に対処するために、2 つの連続するフレームのみから事前にモーションを学習し、軽量でもあるアーク軌跡ベースのモデル (ATCA) を提案します。
実験によると、私たちのアプローチは、パラメーターが少なく、推論速度が速い多くの SOTA メソッドよりも優れていることが示されています。

要約(オリジナル)

Video frame interpolation is a classic and challenging low-level computer vision task. Recently, deep learning based methods have achieved impressive results, and it has been proven that optical flow based methods can synthesize frames with higher quality. However, most flow-based methods assume a line trajectory with a constant velocity between two input frames. Only a little work enforces predictions with curvilinear trajectory, but this requires more than two frames as input to estimate the acceleration, which takes more time and memory to execute. To address this problem, we propose an arc trajectory based model (ATCA), which learns motion prior from only two consecutive frames and also is lightweight. Experiments show that our approach performs better than many SOTA methods with fewer parameters and faster inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google