YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation

要約

オクルージョンは、世界的な証拠にさえ依存するオプティカル フロー アルゴリズムにとって大きな課題となります。
オクルージョンされたポイントとは、参照フレームにはイメージ化されているが、次のフレームにはイメージ化されていないポイントであると考えられます。
これらの点の動きを推定することは、特に 2 フレーム設定では非常に困難です。
以前の研究では、現在のフレームのみを唯一の入力として使用していたため、オクルージョンされたポイントに対する正しいグローバル参照情報の提供が保証できず、計算時間が長く、オクルージョンされたポイントでのオプティカル フローの予測精度が低いなどの問題がありました。
高精度と効率を両立するために、フレームペアが提供する時空間情報を十分にマイニングして活用し、正しいグローバル参照情報が確実に得られるようにループバック判定アルゴリズムを設計し、必要な複数のグローバル情報をマイニングし、効率的なリファインメントモジュールを設計します。
これらのグローバル情報を融合します。
具体的には、初期フロー推定器、複数のグローバル情報抽出モジュール、および統合改良モジュールという 3 つの主要コンポーネントで構成される YOIO フレームワークを提案します。
オクルージョンされていない領域のパフォーマンスを損なうことなく、オクルージョンされた領域のオプティカル フロー推定が 1 回の反復だけで大幅に改善できることを実証します。
GMA と比較して、この方法のオクルージョン領域でのオプティカル フロー予測精度は 10% 以上向上し、occ_out 領域では 15% 以上向上し、計算時間は 27% 短縮されました。
このアプローチは、436*1024 の画像解像度で最大 18.9fps で実行され、リアルタイムで実行できるすべての公開および未公開のアプローチの中で、困難な Sintel データセットで新しい最先端の結果を取得し、正確なデータを取得する新しいパラダイムを示唆しています。
効率的なオプティカル フロー推定を実現します。

要約(オリジナル)

Occlusions pose a significant challenge to optical flow algorithms that even rely on global evidences. We consider an occluded point to be one that is imaged in the reference frame but not in the next. Estimating the motion of these points is extremely difficult, particularly in the two-frame setting. Previous work only used the current frame as the only input, which could not guarantee providing correct global reference information for occluded points, and had problems such as long calculation time and poor accuracy in predicting optical flow at occluded points. To enable both high accuracy and efficiency, We fully mine and utilize the spatiotemporal information provided by the frame pair, design a loopback judgment algorithm to ensure that correct global reference information is obtained, mine multiple necessary global information, and design an efficient refinement module that fuses these global information. Specifically, we propose a YOIO framework, which consists of three main components: an initial flow estimator, a multiple global information extraction module, and a unified refinement module. We demonstrate that optical flow estimates in the occluded regions can be significantly improved in only one iteration without damaging the performance in non-occluded regions. Compared with GMA, the optical flow prediction accuracy of this method in the occluded area is improved by more than 10%, and the occ_out area exceeds 15%, while the calculation time is 27% shorter. This approach, running up to 18.9fps with 436*1024 image resolution, obtains new state-of-the-art results on the challenging Sintel dataset among all published and unpublished approaches that can run in real-time, suggesting a new paradigm for accurate and efficient optical flow estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google