IEBins: Iterative Elastic Bins for Monocular Depth Estimation

要約

単眼奥行き推定 (MDE) は、幾何学的なコンピューター ビジョンの基本的なトピックであり、多くの下流アプリケーションの中核となる技術です。
最近、いくつかの方法が、確率分布とビン中心の線形結合を使用して深さを予測する分類回帰問題として MDE を再構成しています。
この論文では、分類回帰ベースの MDE 用の反復エラスティック ビン (IEBins) の新しい概念を提案します。
提案された IEBins は、検索範囲を段階的に最適化することで高品質の深度を検索することを目的としています。これには複数のステージが含まれ、各ステージは前のステージに加えてターゲット ビン内でより詳細な深度検索を実行します。
反復プロセス中に発生する可能性のある誤差の蓄積を軽減するために、新しい弾性ターゲット ビンを利用して元のターゲット ビンを置き換えます。その幅は深さの不確実性に基づいて弾性的に調整されます。
さらに、GRU ベースのアーキテクチャの恩恵を受ける強力な時間コンテキスト モデリング機能を備えた、特徴抽出機能と反復オプティマイザーで構成される専用のフレームワークを開発します。
KITTI、NYU-Depth-v2、SUN RGB-D データセットに対する広範な実験により、提案された方法が以前の最先端の競合他社を上回ることが実証されました。
ソース コードは https://github.com/ShuweiShao/IEBins で公開されています。

要約(オリジナル)

Monocular depth estimation (MDE) is a fundamental topic of geometric computer vision and a core technique for many downstream applications. Recently, several methods reframe the MDE as a classification-regression problem where a linear combination of probabilistic distribution and bin centers is used to predict depth. In this paper, we propose a novel concept of iterative elastic bins (IEBins) for the classification-regression-based MDE. The proposed IEBins aims to search for high-quality depth by progressively optimizing the search range, which involves multiple stages and each stage performs a finer-grained depth search in the target bin on top of its previous stage. To alleviate the possible error accumulation during the iterative process, we utilize a novel elastic target bin to replace the original target bin, the width of which is adjusted elastically based on the depth uncertainty. Furthermore, we develop a dedicated framework composed of a feature extractor and an iterative optimizer that has powerful temporal context modeling capabilities benefiting from the GRU-based architecture. Extensive experiments on the KITTI, NYU-Depth-v2 and SUN RGB-D datasets demonstrate that the proposed method surpasses prior state-of-the-art competitors. The source code is publicly available at https://github.com/ShuweiShao/IEBins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google