Video Interpolation by Event-driven Anisotropic Adjustment of Optical Flow

要約

ビデオ フレームの補間は、現実世界のシーンが絶え間なく変化するため、困難な作業です。
以前の方法では、多くの場合、双方向のオプティカル フローを計算してから、直線運動の仮定の下で中間オプティカル フローを予測し、等方性中間フローの生成につながります。
追跡調査では、余分なフレームを使用して高次のモーション情報を推定し、異方性調整を取得しました。
モーションの仮定に基づいて、彼らの方法は、実際のシーンでの複雑なモーションをモデル化するのが困難です。
この論文では、オプティカルフローのイベント駆動型異方性調整によるビデオフレーム補間のためのエンドツーエンドのトレーニング方法 A^2OF を提案します。
具体的には、イベントを使用して中間オプティカル フローのオプティカル フロー分散マスクを生成します。これにより、2 つのフレーム間の複雑な動きをモデル化できます。
私たちの提案した方法は、監視されたイベントベースのビデオ補間をより高い段階に引き上げ、ビデオフレーム補間において以前の方法よりも優れています。

要約(オリジナル)

Video frame interpolation is a challenging task due to the ever-changing real-world scene. Previous methods often calculate the bi-directional optical flows and then predict the intermediate optical flows under the linear motion assumptions, leading to isotropic intermediate flow generation. Follow-up research obtained anisotropic adjustment through estimated higher-order motion information with extra frames. Based on the motion assumptions, their methods are hard to model the complicated motion in real scenes. In this paper, we propose an end-to-end training method A^2OF for video frame interpolation with event-driven Anisotropic Adjustment of Optical Flows. Specifically, we use events to generate optical flow distribution masks for the intermediate optical flow, which can model the complicated motion between two frames. Our proposed method outperforms the previous methods in video frame interpolation, taking supervised event-based video interpolation to a higher stage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google