Oflib: Facilitating Operations with and on Optical Flow Fields in Python

要約

オプティカル フロー、つまり 2D ベクトル フィールドの特徴付けと操作のための堅牢な理論的フレームワークを、モーション推定アルゴリズムなどでの使用のコンテキストで提示します。
参照の 2 つのフレームの定義は、流れ場の適用、反転、評価、および合成操作の数学的導出を導きます。
この構造化されたアプローチは、Python 3 での実装の基盤として使用されます。完全に微分可能な PyTorch バージョンの libpytorch は、深層学習に必要な逆伝播をサポートします。
フロー構成法を経験的に検証し、合成トレーニング データの作成におけるオプティカル フローのグラウンド トゥルースへの適用の実例を提供します。
すべてのコードは公開されています。

要約(オリジナル)

We present a robust theoretical framework for the characterisation and manipulation of optical flow, i.e 2D vector fields, in the context of their use in motion estimation algorithms and beyond. The definition of two frames of reference guides the mathematical derivation of flow field application, inversion, evaluation, and composition operations. This structured approach is then used as the foundation for an implementation in Python 3, with the fully differentiable PyTorch version oflibpytorch supporting back-propagation as required for deep learning. We verify the flow composition method empirically and provide a working example for its application to optical flow ground truth in synthetic training data creation. All code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google