Learning Depth Estimation for Transparent and Mirror Surfaces

要約

透明または鏡面 (ToM) 表面の深さを推測することは、センサー、アルゴリズム、またはディープ ネットワークのいずれにとっても困難な課題です。
私たちは、グラウンドトゥルースのアノテーションを必要とせずに、ニューラルネットワークを使用してそのような表面の深さを適切に推定することを学習するためのシンプルなパイプラインを提案します。
画像内の ToM オブジェクトをインペイントし、単眼奥行き推定モデルで処理することにより、信頼性の高い擬似ラベルを取得する方法を明らかにします。
これらのラベルを使用して、既存の単眼またはステレオ ネットワークを微調整し、ToM サーフェスの処理方法を学習させることができます。
Booster データセットの実験結果は、私たちの非常にシンプルな提案によって可能になった劇的な改善を示しています。

要約(オリジナル)

Inferring the depth of transparent or mirror (ToM) surfaces represents a hard challenge for either sensors, algorithms, or deep networks. We propose a simple pipeline for learning to estimate depth properly for such surfaces with neural networks, without requiring any ground-truth annotation. We unveil how to obtain reliable pseudo labels by in-painting ToM objects in images and processing them with a monocular depth estimation model. These labels can be used to fine-tune existing monocular or stereo networks, to let them learn how to deal with ToM surfaces. Experimental results on the Booster dataset show the dramatic improvements enabled by our remarkably simple proposal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google