Deconstructing Self-Supervised Monocular Reconstruction: The Design Decisions that Matter

要約

この論文は、自己教師あり単眼深度推定への最先端の貢献を体系的に評価するためのオープンで包括的なフレームワークを提示します。
これには、事前トレーニング、バックボーン、アーキテクチャ設計の選択、および損失関数が含まれます。
この分野の多くの論文は、アーキテクチャ設計または損失定式化の新規性を主張しています。
ただし、従来のシステムのバックボーンを更新するだけで、25% の相対的な改善が得られ、既存のシステムの大部分を上回るパフォーマンスが得られます。
この分野の論文の体系的な評価は簡単ではありませんでした。
以前の論文で同種のものを比較する必要があるということは、評価プロトコルの長年のエラーがこの分野で遍在していることを意味します。
多くの論文は、特定のデータセットに対して最適化されているだけでなく、データや評価基準のエラーに対しても最適化されている可能性があります。
この分野の将来の研究を支援するために、モジュラー コードベース (https://github.com/jspenmar/monodepth_benchmark) をリリースします。これにより、修正されたデータと評価基準に対する代替設計の決定を簡単に評価できます。
16 の最先端の貢献を再実装、検証、再評価し、さまざまな自然シーンと都市シーンの両方で高密度の屋外深度マップを含む新しいデータセット (SYNS-Patches) を導入します。
これにより、深度境界などの複雑な領域での有益なメトリックの計算が可能になります。

要約(オリジナル)

This paper presents an open and comprehensive framework to systematically evaluate state-of-the-art contributions to self-supervised monocular depth estimation. This includes pretraining, backbone, architectural design choices and loss functions. Many papers in this field claim novelty in either architecture design or loss formulation. However, simply updating the backbone of historical systems results in relative improvements of 25%, allowing them to outperform the majority of existing systems. A systematic evaluation of papers in this field was not straightforward. The need to compare like-with-like in previous papers means that longstanding errors in the evaluation protocol are ubiquitous in the field. It is likely that many papers were not only optimized for particular datasets, but also for errors in the data and evaluation criteria. To aid future research in this area, we release a modular codebase (https://github.com/jspenmar/monodepth_benchmark), allowing for easy evaluation of alternate design decisions against corrected data and evaluation criteria. We re-implement, validate and re-evaluate 16 state-of-the-art contributions and introduce a new dataset (SYNS-Patches) containing dense outdoor depth maps in a variety of both natural and urban scenes. This allows for the computation of informative metrics in complex regions such as depth boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google