Context-Aware Iteration Policy Network for Efficient Optical Flow Estimation

要約

既存の再帰型オプティカル フロー推定ネットワークは、各サンプルの流れフィールドを更新するために固定された多数の反復を使用するため、計算コストが高くなります。
効率的なネットワークでは、フローの改善が制限されている場合は反復をスキップする必要があります。
この論文では、サンプルごとの最適な反復回数を決定する、効率的なオプティカル フロー推定のためのコンテキスト認識反復ポリシー ネットワークを開発します。
ポリシー ネットワークは、コンテキスト情報を学習してフローの改善がボトルネックになっているか、最小限であるかを認識することでこれを実現します。
一方で、以前の反復情報を含む反復埋め込みと履歴非表示セルを使用して、フローが以前の反復からどのように変化したかを伝えます。
一方、増分損失を使用して、ポリシー ネットワークが後続の反復でオプティカル フローの改善の大きさを暗黙的に認識できるようにします。
さらに、動的ネットワークの計算の複雑さは制御可能であるため、単一のトレーニング済みモデルでさまざまなリソースの好みを満たすことができます。
当社のポリシー ネットワークは、最先端のオプティカル フロー ネットワークに簡単に統合できます。
広範な実験により、私たちの方法は Sintel/KITTI データセットの FLOP を約 40%/20% 削減しながらパフォーマンスを維持できることが示されています。

要約(オリジナル)

Existing recurrent optical flow estimation networks are computationally expensive since they use a fixed large number of iterations to update the flow field for each sample. An efficient network should skip iterations when the flow improvement is limited. In this paper, we develop a Context-Aware Iteration Policy Network for efficient optical flow estimation, which determines the optimal number of iterations per sample. The policy network achieves this by learning contextual information to realize whether flow improvement is bottlenecked or minimal. On the one hand, we use iteration embedding and historical hidden cell, which include previous iterations information, to convey how flow has changed from previous iterations. On the other hand, we use the incremental loss to make the policy network implicitly perceive the magnitude of optical flow improvement in the subsequent iteration. Furthermore, the computational complexity in our dynamic network is controllable, allowing us to satisfy various resource preferences with a single trained model. Our policy network can be easily integrated into state-of-the-art optical flow networks. Extensive experiments show that our method maintains performance while reducing FLOPs by about 40%/20% for the Sintel/KITTI datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google