LayeredFlow: A Real-World Benchmark for Non-Lambertian Multi-Layer Optical Flow

要約

非ランバートオブジェクトの 3D 理解を達成することは、多くの有用なアプリケーションにとって重要なタスクですが、ほとんどの既存のアルゴリズムはそのようなオブジェクトを処理するのに苦労しています。
この分野の進歩に対する大きな障害の 1 つは、総合的な非ランバート ベンチマークの欠如です。ほとんどのベンチマークではシーンとオブジェクトの多様性が低く、透明なサーフェスによって遮られたオブジェクトに対する多層 3D アノテーションを提供するベンチマークはありません。
このペーパーでは、非ランバート オブジェクトのオプティカル フローに対する多層グラウンド トゥルース アノテーションを含む現実世界のベンチマークである LayeredFlow を紹介します。
以前のベンチマークと比較して、私たちのベンチマークはシーンとオブジェクトの多様性がより優れており、150,000 の高品質オプティカル フローとステレオ ペアが 185 の屋内および屋外のシーンと 360 の固有のオブジェクトにわたって取得されています。
LayeredFlowを評価データとして用いて、多層オプティカルフローと呼ばれる新しいタスクを提案します。
このタスクのトレーニング データを提供するために、非ランバート オブジェクト用に調整された 30 シーン内の 60,000 個の画像を含む大規模で高密度にアノテーションが付けられた合成データセットを導入します。
合成データセットでのトレーニングにより、モデルは多層オプティカル フローを予測できるようになります。一方、データセットで既存のオプティカル フロー手法を微調整すると、拡散オブジェクトでのパフォーマンスを損なうことなく、非ランバーシアン オブジェクトでのパフォーマンスが大幅に向上します。
データは https://layeredflow.cs.princeton.edu で入手できます。

要約(オリジナル)

Achieving 3D understanding of non-Lambertian objects is an important task with many useful applications, but most existing algorithms struggle to deal with such objects. One major obstacle towards progress in this field is the lack of holistic non-Lambertian benchmarks — most benchmarks have low scene and object diversity, and none provide multi-layer 3D annotations for objects occluded by transparent surfaces. In this paper, we introduce LayeredFlow, a real world benchmark containing multi-layer ground truth annotation for optical flow of non-Lambertian objects. Compared to previous benchmarks, our benchmark exhibits greater scene and object diversity, with 150k high quality optical flow and stereo pairs taken over 185 indoor and outdoor scenes and 360 unique objects. Using LayeredFlow as evaluation data, we propose a new task called multi-layer optical flow. To provide training data for this task, we introduce a large-scale densely-annotated synthetic dataset containing 60k images within 30 scenes tailored for non-Lambertian objects. Training on our synthetic dataset enables model to predict multi-layer optical flow, while fine-tuning existing optical flow methods on the dataset notably boosts their performance on non-Lambertian objects without compromising the performance on diffuse objects. Data is available at https://layeredflow.cs.princeton.edu.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google