RobustSpring: Benchmarking Robustness to Image Corruptions for Optical Flow, Scene Flow and Stereo

要約

光学フロー、シーンフロー、およびステレオビジョンアルゴリズムの標準ベンチマークは、一般に、騒音や雨などの腐敗を妨げるのではなく、モデルの精度に焦点を当てています。
したがって、このような現実世界の摂動に対するモデルの回復力は、ほとんど定量化されていません。
これに対処するために、光学フロー、シーンフロー、ステレオモデルの腐敗を画像化するための堅牢性を評価するための包括的なデータセットとベンチマークであるRobustSpringを提示します。
RobustSpringは、騒音、ぼやけ、色の変化、品質の劣化、および天候の歪みを含む20の異なる画像の腐敗を、高解像度のスプリングデータセットに時間、ステレオ、深度一貫性のある方法で適用し、挑戦的な条件を反映した20,000の破損した画像のスイートを作成します。
RobustSpringは、新しい腐敗の堅牢性メトリックを介してモデルの堅牢性の比較を可能にします。
スプリングベンチマークとの統合により、公開された2軸評価の精度と堅牢性の両方が可能になります。
初期モデルのキュレーションされた選択をベンチマークし、正確なモデルは必ずしも堅牢ではなく、堅牢性は腐敗の種類によって大きく異なることを観察します。
RobustSpringは、精度と回復力を組み合わせたモデルを育成するために、堅牢性を一流の市民として扱う新しいコンピュータービジョンベンチマークです。
https://spring-benchmark.orgで入手できます。

要約(オリジナル)

Standard benchmarks for optical flow, scene flow, and stereo vision algorithms generally focus on model accuracy rather than robustness to image corruptions like noise or rain. Hence, the resilience of models to such real-world perturbations is largely unquantified. To address this, we present RobustSpring, a comprehensive dataset and benchmark for evaluating robustness to image corruptions for optical flow, scene flow, and stereo models. RobustSpring applies 20 different image corruptions, including noise, blur, color changes, quality degradations, and weather distortions, in a time-, stereo-, and depth-consistent manner to the high-resolution Spring dataset, creating a suite of 20,000 corrupted images that reflect challenging conditions. RobustSpring enables comparisons of model robustness via a new corruption robustness metric. Integration with the Spring benchmark enables public two-axis evaluations of both accuracy and robustness. We benchmark a curated selection of initial models, observing that accurate models are not necessarily robust and that robustness varies widely by corruption type. RobustSpring is a new computer vision benchmark that treats robustness as a first-class citizen to foster models that combine accuracy with resilience. It will be available at https://spring-benchmark.org.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google