Depth Insight — Contribution of Different Features to Indoor Single-image Depth Estimation

要約

両眼視差や動き情報が存在しないため、単一の画像からの奥行き推定はコンピュータ ビジョンにおいて困難な問題となります。
この分野では最近、エンドツーエンドで訓練されたディープニューラルアーキテクチャを使用して印象的なパフォーマンスが報告されていますが、これらのブラックボックスシステムによって画像内のどのような手がかりが利用されているかを知るのは困難です。
この目的を達成するために、この研究では、屋内シーンのデータセットを使用して、単眼の奥行き推定設定における奥行きの既知の手がかりの相対的な寄与を定量化します。
私たちの研究では、特徴抽出技術を使用して、形状、テクスチャ、色、彩度の単一の特徴を個別に関連付けて、深度を予測します。
エッジ検出によって抽出された物体の形状は、考慮した屋内環境において他の物体よりも実質的に大きく寄与しており、他の特徴もさまざまな程度で寄与していることがわかりました。
これらの洞察は、深度推定モデルの最適化に役立ち、その精度と堅牢性が向上します。
これらは、視覚ベースの深度推定の実用的な応用を広げることを約束します。
プロジェクト コードは補足資料に添付され、GitHub で公開されます。

要約(オリジナル)

Depth estimation from a single image is a challenging problem in computer vision because binocular disparity or motion information is absent. Whereas impressive performances have been reported in this area recently using end-to-end trained deep neural architectures, as to what cues in the images that are being exploited by these black box systems is hard to know. To this end, in this work, we quantify the relative contributions of the known cues of depth in a monocular depth estimation setting using an indoor scene data set. Our work uses feature extraction techniques to relate the single features of shape, texture, colour and saturation, taken in isolation, to predict depth. We find that the shape of objects extracted by edge detection substantially contributes more than others in the indoor setting considered, while the other features also have contributions in varying degrees. These insights will help optimise depth estimation models, boosting their accuracy and robustness. They promise to broaden the practical applications of vision-based depth estimation. The project code is attached to the supplementary material and will be published on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google