Unsupervised Learning Optical Flow in Multi-frame Dynamic Environment Using Temporal Dynamic Modeling

要約

タイトル：時空動的モデリングを使用した多フレーム動的環境における非教示学習オプティカルフロー推定

要約：
– オプティカルフロー推定は視覚タスクにおいて重要な機能であり、監視された方法による推定を行うことが多い。
– しかしながら、非教示学習によるオプティカルフロー推定が監視された方法に比べて有望である。
– 本研究では、時間静的モデルを用いた多数の未監視フロー推定手法とは異なり、動的シーンの多数のフレームのシーケンスからオプティカルフロー推定を探索する。
– 性能を向上させるために、本研究では空間-時間両方向のリカレントブロックを導入して、前回の高レベル動きを現在のオプティカルフローエスティメータにフィードする。
– 必要に応じて、情報最適化構造を基盤とした二重リカレントブロックによって、時間フレーム毎に前回と今回のフローとの互換性を確認することで物体の動きにより劣化する領域を正確に把握することができる。
– 様々なシナリオに対する実験から、本手法が統合されている長時間の動的環境下で物体の動きパターンを理解することができる。

要約(オリジナル)

For visual estimation of optical flow, a crucial function for many vision tasks, unsupervised learning, using the supervision of view synthesis has emerged as a promising alternative to supervised methods, since ground-truth flow is not readily available in many cases. However, unsupervised learning is likely to be unstable when pixel tracking is lost due to occlusion and motion blur, or the pixel matching is impaired due to variation in image content and spatial structure over time. In natural environments, dynamic occlusion or object variation is a relatively slow temporal process spanning several frames. We, therefore, explore the optical flow estimation from multiple-frame sequences of dynamic scenes, whereas most of the existing unsupervised approaches are based on temporal static models. We handle the unsupervised optical flow estimation with a temporal dynamic model by introducing a spatial-temporal dual recurrent block based on the predictive coding structure, which feeds the previous high-level motion prior to the current optical flow estimator. Assuming temporal smoothness of optical flow, we use motion priors of the adjacent frames to provide more reliable supervision of the occluded regions. To grasp the essence of challenging scenes, we simulate various scenarios across long sequences, including dynamic occlusion, content variation, and spatial variation, and adopt self-supervised distillation to make the model understand the object’s motion patterns in a prolonged dynamic environment. Experiments on KITTI 2012, KITTI 2015, Sintel Clean, and Sintel Final datasets demonstrate the effectiveness of our methods on unsupervised optical flow estimation. The proposal achieves state-of-the-art performance with advantages in memory overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI