Do More With What You Have: Transferring Depth-Scale from Labeled to Unlabeled Domains

要約

推定器の絶対深度予測機能を新しいドメインに移すことは、重要な現実世界のアプリケーションのタスクです。
このタスクは、新しいドメインからの画像がグラウンドトゥルースの深度測定なしで、場合によっては異なる固有のセンサーを使用して収集された場合に特に困難です。
このような制限を克服するために、最近のゼロショット ソリューションは広範なトレーニング データセットでトレーニングされ、さまざまなカメラの組み込み機能がエンコードされました。
他のソリューションでは、新しいターゲット データの本質に一致する深度ラベルを含む合成データを生成して、ドメイン間の深度スケールの転送を可能にしていました。
この研究では、グラウンド トゥルース深度ラベルで注釈が付けられた少数の画像を含む、既存の合成データセットまたは実際のデータセットを利用できる代替ソリューションを紹介します。
具体的には、自己教師あり深度推定器により、ドメイン全体の絶対深度値と線形相関する最新スケールの予測が得られることを示します。この研究では、この特性を単一のスカラーを使用してモデル化します。
さらに、トレーニング前に 2 つのデータセットの視野を調整すると、両方のドメインに共通の線形関係が得られます。
この観測されたプロパティを使用して、絶対深度ラベルを持つソース データセットからこれらの測定値が欠けている新しいターゲット データセットに深度スケールを転送し、ターゲット ドメインでの絶対深度予測を可能にします。
提案された方法は、異なる視野、他の画像スタイル、または構造コンテンツを持つ他の既存の実際または合成ソース データセットを使用しながら、KITTI、DDAD、および nuScenes データセットで正常に実証され、他の既存のものと同等以上の精度を達成しました。
ターゲットのグラウンドトゥルース深度を使用しない方法。

要約(オリジナル)

Transferring the absolute depth prediction capabilities of an estimator to a new domain is a task with significant real-world applications. This task is specifically challenging when images from the new domain are collected without ground-truth depth measurements, and possibly with sensors of different intrinsics. To overcome such limitations, a recent zero-shot solution was trained on an extensive training dataset and encoded the various camera intrinsics. Other solutions generated synthetic data with depth labels that matched the intrinsics of the new target data to enable depth-scale transfer between the domains. In this work we present an alternative solution that can utilize any existing synthetic or real dataset, that has a small number of images annotated with ground truth depth labels. Specifically, we show that self-supervised depth estimators result in up-to-scale predictions that are linearly correlated to their absolute depth values across the domain, a property that we model in this work using a single scalar. In addition, aligning the field-of-view of two datasets prior to training, results in a common linear relationship for both domains. We use this observed property to transfer the depth-scale from source datasets that have absolute depth labels to new target datasets that lack these measurements, enabling absolute depth predictions in the target domain. The suggested method was successfully demonstrated on the KITTI, DDAD and nuScenes datasets, while using other existing real or synthetic source datasets, that have a different field-of-view, other image style or structural content, achieving comparable or better accuracy than other existing methods that do not use target ground-truth depths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google