Scale-Invariant Monocular Depth Estimation via SSI Depth

要約

スケール不変の単眼深度推定 (SI MDE) の既存の方法は、タスクの複雑さと限定された非多様なデータセットにより、現実世界のシナリオでの一般化を妨げることが多く、困難を伴います。
これは、シフト アンド スケール インバリアント (SSI) 深度推定によりタスクが簡素化され、豊富なステレオ データセットを使用したトレーニングが可能になり、高いパフォーマンスが実現されるためです。
我々は、SSI 入力を活用して SI 深度推定を強化し、ネットワークの役割を合理化し、トレーニングに合成データセットのみを使用しながら SI 深度推定の実際の一般化を促進する新しいアプローチを提案します。
高解像度の詳細の生成を強調して、SSI MDE での詳細生成を大幅に改善する新しいスパース順序損失を導入し、既存のアプローチの重大な制限に対処します。
実際の定性的な例とゼロショット評価を通じて、コンピューテーショナル フォトグラフィー アプリケーションにおけるアプローチの実用性を実証し、非常に詳細な SI 深度マップを生成し、さまざまなシナリオで一般化を達成する能力を示します。

要約(オリジナル)

Existing methods for scale-invariant monocular depth estimation (SI MDE) often struggle due to the complexity of the task, and limited and non-diverse datasets, hindering generalizability in real-world scenarios. This is while shift-and-scale-invariant (SSI) depth estimation, simplifying the task and enabling training with abundant stereo datasets achieves high performance. We present a novel approach that leverages SSI inputs to enhance SI depth estimation, streamlining the network’s role and facilitating in-the-wild generalization for SI depth estimation while only using a synthetic dataset for training. Emphasizing the generation of high-resolution details, we introduce a novel sparse ordinal loss that substantially improves detail generation in SSI MDE, addressing critical limitations in existing approaches. Through in-the-wild qualitative examples and zero-shot evaluation we substantiate the practical utility of our approach in computational photography applications, showcasing its ability to generate highly detailed SI depth maps and achieve generalization in diverse scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google