Complementing Brightness Constancy with Deep Networks for Optical Flow Prediction

要約

オプティカルフロー推定の最先端の方法は、ディープラーニングに依存しています。ディープラーニングでは、実世界のデータで最適なパフォーマンスを実現するために、複雑なシーケンシャルトレーニングスキームが必要です。
この作業では、従来の方法で使用されていた輝度恒常性（BC）モデルを明示的に活用するCOMBOディープネットワークを紹介します。
BCはいくつかの状況で違反するおおよその物理モデルであるため、データ駆動型ネットワークで補完された物理的に制約のあるネットワークをトレーニングすることを提案します。
BCモデルの不確実性の定量化を含む、物理的な事前分布とデータ駆動型の補数の間のユニークで意味のあるフロー分解を紹介します。
教師ありだけでなく半教師ありのコンテキストでも、最適な協力を保証する分解のさまざまなコンポーネントを学習するための共同トレーニングスキームを導き出します。
実験によると、COMBOは、最先端の監視対象ネットワークよりもパフォーマンスを向上させることができます。
RAFT、いくつかのベンチマークで最先端の結果に到達。
COMBOがBCモデルを活用し、その制限に適応する方法を強調します。
最後に、半教師あり方法によってトレーニング手順を大幅に簡素化できることを示します。

要約(オリジナル)

State-of-the-art methods for optical flow estimation rely on deep learning, which require complex sequential training schemes to reach optimal performances on real-world data. In this work, we introduce the COMBO deep network that explicitly exploits the brightness constancy (BC) model used in traditional methods. Since BC is an approximate physical model violated in several situations, we propose to train a physically-constrained network complemented with a data-driven network. We introduce a unique and meaningful flow decomposition between the physical prior and the data-driven complement, including an uncertainty quantification of the BC model. We derive a joint training scheme for learning the different components of the decomposition ensuring an optimal cooperation, in a supervised but also in a semi-supervised context. Experiments show that COMBO can improve performances over state-of-the-art supervised networks, e.g. RAFT, reaching state-of-the-art results on several benchmarks. We highlight how COMBO can leverage the BC model and adapt to its limitations. Finally, we show that our semi-supervised method can significantly simplify the training procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google