要約
フローガイド合成はフレーム補間のための一般的なフレームワークであり、オプティカルフローは通常ピラミッドネットワークによって推定され、次に入力フレーム間の中間フレームを生成する合成ネットワークを導くために利用される。本論文では、フレーム補間のための新しい統合ピラミッド型リカレントネットワークであるUPR-Netを紹介する。UPR-Netは柔軟なピラミッド型フレームワークで、双方向のフロー推定と中間フレーム合成の両方に軽量なリカレントモジュールを利用する。各ピラミッドレベルでは、フレーム合成のための前方ワープ表現を生成するために推定された双方向フローを利用し、ピラミッドレベル全体では、オプティカルフローと中間フレームの両方の反復的な改良が可能である。特に、反復合成により、大きな動きのある場合のフレーム補間のロバスト性を大幅に改善することができることを示す。UPR-Netは非常に軽量（1.7Mパラメータ）であるにもかかわらず、広範囲のベンチマークで優れた性能を達成しています。コードは近日公開予定です。
要約(オリジナル)
Flow-guide synthesis provides a common framework for frame interpolation, where optical flow is typically estimated by a pyramid network, and then leveraged to guide a synthesis network to generate intermediate frames between input frames. In this paper, we present UPR-Net, a novel Unified Pyramid Recurrent Network for frame interpolation. Cast in a flexible pyramid framework, UPR-Net exploits lightweight recurrent modules for both bi-directional flow estimation and intermediate frame synthesis. At each pyramid level, it leverages estimated bi-directional flow to generate forward-warped representations for frame synthesis; across pyramid levels, it enables iterative refinement for both optical flow and intermediate frame. In particular, we show that our iterative synthesis can significantly improve the robustness of frame interpolation on large motion cases. Despite being extremely lightweight (1.7M parameters), UPR-Net achieves excellent performance on a large range of benchmarks. Code will be available soon.
arxiv情報
| 著者 | Xin Jin,Longhai Wu,Jie Chen,Youxin Chen,Jayoon Koo,Cheul-hee Hahm |
| 発行日 | 2022-11-07 11:12:31+00:00 |
| arxivサイト | arxiv_id(pdf) |