Benchmarking the Robustness of Optical Flow Estimation to Corruptions

要約

オプティカル フロー推定は、自動運転やビデオ編集で広く使用されています。
既存のモデルはさまざまなベンチマークにわたって最先端のパフォーマンスを示していますが、これらの手法の堅牢性が調査されることはほとんどありません。
敵対的な攻撃に対するオプティカル フロー モデルの堅牢性に焦点を当てた研究はいくつかありますが、一般的な破損に対するその堅牢性を調査した研究は不足しています。
オプティカル フローの固有の時間特性を考慮して、高度な PSF Blur シミュレーション手法が実行される 17 の古典的な単一画像破損に加えて、オプティカル フロー モデルの堅牢性のベンチマーク用に特別に設計された 7 つの時間破損を導入します。
その後、2 つの堅牢性ベンチマークである KITTI-FC と GoPro-FC が、オプティカル フロー推定の最初の破損堅牢性ベンチマークとして確立され、包括的な調査を促進するためにアウトオブドメイン (OOD) およびインドメイン (ID) 設定が使用されます。
ロバストネス メトリクス、破損ロバストネス エラー (CRE)、破損ロバストネス エラー比 (CREr)、および相対破損ロバストネス エラー (RCRE) がさらに導入され、オプティカル フロー推定のロバスト性を定量化します。
15 のオプティカル フロー手法からの 29 のモデル バリアントが評価され、次のような 10 の興味深い観察結果が得られます。1) モデルの絶対的なロバスト性は推定パフォーマンスに大きく依存します。
2) ローカル情報を減少させる破損は、視覚効果を低下させる破損よりも深刻です。
オプティカル フロー モデルの設計と適用に関する提案も行います。
私たちは、私たちのベンチマークがロバストなオプティカル フロー推定の研究を進めるための基礎的なリソースとして機能することを期待しています。
ベンチマークとソース コードは https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark で公開されます。

要約(オリジナル)

Optical flow estimation is extensively used in autonomous driving and video editing. While existing models demonstrate state-of-the-art performance across various benchmarks, the robustness of these methods has been infrequently investigated. Despite some research focusing on the robustness of optical flow models against adversarial attacks, there has been a lack of studies investigating their robustness to common corruptions. Taking into account the unique temporal characteristics of optical flow, we introduce 7 temporal corruptions specifically designed for benchmarking the robustness of optical flow models, in addition to 17 classical single-image corruptions, in which advanced PSF Blur simulation method is performed. Two robustness benchmarks, KITTI-FC and GoPro-FC, are subsequently established as the first corruption robustness benchmark for optical flow estimation, with Out-Of-Domain (OOD) and In-Domain (ID) settings to facilitate comprehensive studies. Robustness metrics, Corruption Robustness Error (CRE), Corruption Robustness Error ratio (CREr), and Relative Corruption Robustness Error (RCRE) are further introduced to quantify the optical flow estimation robustness. 29 model variants from 15 optical flow methods are evaluated, yielding 10 intriguing observations, such as 1) the absolute robustness of the model is heavily dependent on the estimation performance; 2) the corruptions that diminish local information are more serious than that reduce visual effects. We also give suggestions for the design and application of optical flow models. We anticipate that our benchmark will serve as a foundational resource for advancing research in robust optical flow estimation. The benchmarks and source code will be released at https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google