IDO-VFI: Identifying Dynamics via Optical Flow Guidance for Video Frame Interpolation with Events

要約

ビデオ フレーム補間 (VFI) は、再構成フレームを 2 つの連続するフレームに挿入することにより、ビデオ フレーム レートを高めます。
通常のカメラの固定フレーム レートの制限により、フレームのみのビデオ フレーム補間方法では、必然的に連続するフレーム間のダイナミクスが失われます。
フレーム間情報の欠如を補うために、動きモデルがよく使用されますが、それらのモデルは実際の動きを説明できません。
イベント カメラは生物からインスピレーションを得たビジョン センサーであり、各ピクセルが光強度の相対的な変化を独立して認識し、エンコードします。
イベント カメラは、フレームの代わりにイベントのまばらな非同期ストリームを出力し、高い時間解像度、高いダイナミクス、低消費電力という利点を備えています。
イベントは通常、タプル e=(x,y,p,t) として表現されます。これは、タイムスタンプ t で、極性のあるイベントがピクセル (x,y) で生成されることを意味します。
正の極性は、弱から強への光強度の変化が閾値を超えていることを示し、負の極性はその逆です。
イベント カメラは最大マイクロ秒の高い時間分解能を備えているため、フレーム間の完全な変化や動きをキャプチャできます。
イベント フローはフレーム間の変化を具体化したものです。
したがって、イベントから推定されるオプティカル フローには、本質的に非線形である可能性がある運動モデルを適合させる必要がありません。
イベントには強度情報が欠けているため、フレームベースのオプティカル フローはイベントベースのオプティカル フローを補完します。
この 2 種類のオプティカルフローを組み合わせることで、より正確な推定結果が得られます。
一方、実際のフレーム間のダイナミクスがキャプチャされるため、任意のタイムスタンプで高品質のキーフレームを再構築することが可能です。

要約(オリジナル)

Video frame interpolation (VFI) increases the video frame rate by inserting a reconstruction frame into two consecutive frames. Due to the limitation of the fixed frame rate of ordinary camera, the frame-only video frame interpolation methods inevitably lose the dynamics in the interval between consecutive frames. In order to compensate for the lack of inter-frame information, motion models are often used, but those models cannot account for the real motions. Event cameras are bio-inspired vision sensor, each pixel of which independently perceives and encodes relative changes in light intensity. Event cameras output sparse, asynchronous streams of events instead of frames, with advantages of high temporal resolution, high dynamics, and low power consumption. An event is usually expressed as a tuple e=(x,y,p,t), which means that at timestamp t, an event with polarity is generated at the pixel (x,y). Positive polarity indicates that the change of light intensity from week to strong is beyond the threshold, while negative polarity is just the opposite. Because an event camera has high temporal resolution up to microseconds, it can capture complete changes or motion between frames. The event flow is the embodiment of inter-frame changes. Therefore, the optical flow estimated from the events does not require any motion model to be fitted, which can be inherently nonlinear. Since events lack intensity information, frame-based optical flow is complementary to event-based optical flow. By combining these two kinds of optical flow, more accurate estimation results can be obtained. Meanwhile, it is possible to reconstruct high-quality keyframes at any timestamp, since real inter-frame dynamics are captured.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google