BiFuse++: Self-supervised and Efficient Bi-projection Fusion for 360 Depth Estimation

要約

球体カメラの台頭により、単眼360度奥行き推定は多くのアプリケーション（例：自律システム）において重要な技術となった。そこで、BiFuseにおけるバイプロジェクションフュージョンのような、単眼360奥行き推定のための最先端のフレームワークが提案されている。このようなフレームワークを学習させるためには、レーザーセンサーで撮影した奥行き方向の地上絵と大量のパノラマ画像が必要であり、データ収集のコストが非常に高くなる。また、このようなデータ収集には時間がかかるため、様々なシーンに拡張するためのスケーラビリティが課題となる。そこで、360度動画像から単眼式奥行き推定を行うためのネットワークを自己学習させることが、この問題を軽減する一つの方法である。しかし、自己学習スキームに両投影融合を組み込んだ既存のフレームワークはなく、両投影融合は異なる投影タイプからの情報を活用できるため、自己教師付き性能に大きな制約がある。本論文では、バイプロジェクション融合と自己学習シナリオの組み合わせを検討するため、BiFuse++を提案する。具体的には，新しい融合モジュールとContrast-Aware Photometric Lossを提案し，BiFuseの性能向上と実映像での自己学習の安定性を高める．ベンチマークデータセットに対して教師付きと自己教師付きの両方の実験を行い、最先端の性能を達成する。

要約(オリジナル)

Due to the rise of spherical cameras, monocular 360 depth estimation becomes an important technique for many applications (e.g., autonomous systems). Thus, state-of-the-art frameworks for monocular 360 depth estimation such as bi-projection fusion in BiFuse are proposed. To train such a framework, a large number of panoramas along with the corresponding depth ground truths captured by laser sensors are required, which highly increases the cost of data collection. Moreover, since such a data collection procedure is time-consuming, the scalability of extending these methods to different scenes becomes a challenge. To this end, self-training a network for monocular depth estimation from 360 videos is one way to alleviate this issue. However, there are no existing frameworks that incorporate bi-projection fusion into the self-training scheme, which highly limits the self-supervised performance since bi-projection fusion can leverage information from different projection types. In this paper, we propose BiFuse++ to explore the combination of bi-projection fusion and the self-training scenario. To be specific, we propose a new fusion module and Contrast-Aware Photometric Loss to improve the performance of BiFuse and increase the stability of self-training on real-world videos. We conduct both supervised and self-supervised experiments on benchmark datasets and achieve state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL