SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving

要約

教師なしオプティカル フロー推定は、オクルージョンやモーション境界付近、および低テクスチャ領域では特に困難です。
セマンティクスやドメイン知識などの追加情報が、この問題をより適切に抑制するのに役立つことを示します。
SemARFlow は、推定されたセマンティック セグメンテーション マスクを追加入力として受け取る自動運転データ用に設計された教師なしオプティカル フロー ネットワークです。
この追加情報はエンコーダと、フロー出力を調整する学習されたアップサンプラーに注入されます。
さらに、シンプルでありながら効果的なセマンティック拡張モジュールは、車両、極、空の流れとその境界を学習するときに自己監視を提供します。
これらのセマンティック情報の注入により、KITTI-2015 オプティカル フロー テストのエラー率が 11.80% から 8.38% に改善されます。
また、オブジェクト境界付近の目に見える改善と、データセット間で一般化する機能の向上も示しています。
コードは https://github.com/duke-vision/semantic-unsup-flow-release で入手できます。

要約(オリジナル)

Unsupervised optical flow estimation is especially hard near occlusions and motion boundaries and in low-texture regions. We show that additional information such as semantics and domain knowledge can help better constrain this problem. We introduce SemARFlow, an unsupervised optical flow network designed for autonomous driving data that takes estimated semantic segmentation masks as additional inputs. This additional information is injected into the encoder and into a learned upsampler that refines the flow output. In addition, a simple yet effective semantic augmentation module provides self-supervision when learning flow and its boundaries for vehicles, poles, and sky. Together, these injections of semantic information improve the KITTI-2015 optical flow test error rate from 11.80% to 8.38%. We also show visible improvements around object boundaries as well as a greater ability to generalize across datasets. Code is available at https://github.com/duke-vision/semantic-unsup-flow-release.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google