Spring: A High-Resolution High-Detail Dataset and Benchmark for Scene Flow, Optical Flow and Stereo

要約

近年の動きやステレオの推定手法は、これまでにないほど詳細な情報を回復する一方で、そのような高詳細な構造は、既存のベンチマークのデータやその評価方法には十分に反映されていない。そこで、シーンフロー、オプティカルフロー、ステレオのための大規模、高解像度、高詳細、コンピュータ生成のベンチマークであるSpring $-$を紹介する。オープンソースのBlender映画「Spring」のレンダリングシーンに基づき、最先端の視覚効果を持つフォトリアルなHDデータセットと、グランドトゥルースのトレーニングデータを提供します。さらに、結果のアップロード、分析、比較のためのウェブサイトを提供します。超解像UHDグランドトゥルースに基づく新しい評価手法を用いたSpringベンチマークは、微細構造の品質を評価することができ、異なる画像領域に関するさらに詳細な性能統計情報を提供します。グランドトゥルースのフレーム数に関して、Springは、唯一のシーンフローベンチマークであるKITTI 2015よりも60$times$大きく、よく知られているMPI Sintelオプティカルフローベンチマークよりも15$times$大きいです。本ベンチマークにおける最近の手法の初期結果は、その精度が改善の余地を大きく残していることから、微細なディテールを推定することは実に困難であることを示しています。Springベンチマークと対応するデータセットは、http://spring-benchmark.org で利用可能である。

要約(オリジナル)

While recent methods for motion and stereo estimation recover an unprecedented amount of details, such highly detailed structures are neither adequately reflected in the data of existing benchmarks nor their evaluation methodology. Hence, we introduce Spring $-$ a large, high-resolution, high-detail, computer-generated benchmark for scene flow, optical flow, and stereo. Based on rendered scenes from the open-source Blender movie ‘Spring’, it provides photo-realistic HD datasets with state-of-the-art visual effects and ground truth training data. Furthermore, we provide a website to upload, analyze and compare results. Using a novel evaluation methodology based on a super-resolved UHD ground truth, our Spring benchmark can assess the quality of fine structures and provides further detailed performance statistics on different image regions. Regarding the number of ground truth frames, Spring is 60$\times$ larger than the only scene flow benchmark, KITTI 2015, and 15$\times$ larger than the well-established MPI Sintel optical flow benchmark. Initial results for recent methods on our benchmark show that estimating fine details is indeed challenging, as their accuracy leaves significant room for improvement. The Spring benchmark and the corresponding datasets are available at http://spring-benchmark.org.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL