Booster: a Benchmark for Depth from Images of Specular and Transparent Surfaces

要約

現在、画像から深度を推定すると、領域内の精度と一般化の両方の点で優れた結果が得られます。
しかし、私たちは、この分野で依然として未解決の 2 つの主要な課題を特定しています。それは、非ランバート材料の処理と、高解像度画像の効果的な処理です。
目的として、いくつかの鏡面と透明な表面を含むシーンを特徴とする、高解像度で正確かつ高密度のグラウンドトゥルース ラベルを含む新しいデータセットを提案します。
当社の取得パイプラインは、新しい深時空ステレオ フレームワークを活用し、サブピクセル精度で簡単かつ正確なラベル付けを可能にします。
データセットは、85 の異なるシーンで収集された 606 個のサンプルで構成されており、各サンプルには、現代のモバイル デバイスに典型的な高解像度ペア (12 Mpx) とアンバランス ステレオ ペア (左: 12 Mpx、右: 1.1 Mpx) の両方が含まれています。
異なる解像度のセンサーを搭載しています。
さらに、手動で注釈を付けたマテリアル セグメンテーション マスクと 15,000 個のラベルなしサンプルも提供しています。
データセットは 1 つのトレーニング セットと 2 つのテスト セットで構成されており、後者はステレオおよび単眼の深度推定ネットワークの評価に特化しています。
私たちの実験は、この分野における未解決の課題と将来の研究の方向性を浮き彫りにしています。

要約(オリジナル)

Estimating depth from images nowadays yields outstanding results, both in terms of in-domain accuracy and generalization. However, we identify two main challenges that remain open in this field: dealing with non-Lambertian materials and effectively processing high-resolution images. Purposely, we propose a novel dataset that includes accurate and dense ground-truth labels at high resolution, featuring scenes containing several specular and transparent surfaces. Our acquisition pipeline leverages a novel deep space-time stereo framework, enabling easy and accurate labeling with sub-pixel precision. The dataset is composed of 606 samples collected in 85 different scenes, each sample includes both a high-resolution pair (12 Mpx) as well as an unbalanced stereo pair (Left: 12 Mpx, Right: 1.1 Mpx), typical of modern mobile devices that mount sensors with different resolutions. Additionally, we provide manually annotated material segmentation masks and 15K unlabeled samples. The dataset is composed of a train set and two test sets, the latter devoted to the evaluation of stereo and monocular depth estimation networks. Our experiments highlight the open challenges and future research directions in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google