Self-Supervised Monocular Depth Estimation: Solving the Edge-Fattening Problem

要約

自己教師付き単眼式奥行き推定（MDE）モデルは、普遍的に悪名高いエッジ肥大の問題に悩まされている。トリプレットロスは、広く普及しているメトリック学習戦略として、多くのコンピュータビジョンアプリケーションでほぼ成功している。本論文では、MDEにおけるパッチベースのトリプレットロスを再設計し、ユビキタスエッジファッティングの問題を軽減する。我々は、MDEにおける生のトリプレットロスの2つの欠点を示し、我々の問題駆動型の再設計を実証する。まず、すべての否定的なサンプルに適用される最小演算子ベースの戦略を提示し、よく機能する否定的なサンプルが、エッジファッティングされた否定的なサンプルのエラーを回避するのを防ぐ。第二に、アンカーポジティブ距離とアンカーネガティブ距離を元のトリプレット内から分割し、ネガとの相互影響を排除してポジティブを直接最適化する。この2つの小さな再設計を組み合わせることで、これまでにない結果を得られることが、広範な実験により示されています。この強力で汎用性の高いトリプレットロスにより、我々のモデルはこれまでのSoTAを大きく上回る性能を発揮するだけでなく、既存の多くのモデルに対しても、余分な推論計算を全く導入しないまま、大幅な性能向上を実現することができます。

要約(オリジナル)

Self-supervised monocular depth estimation (MDE) models universally suffer from the notorious edge-fattening issue. Triplet loss, as a widespread metric learning strategy, has largely succeeded in many computer vision applications. In this paper, we redesign the patch-based triplet loss in MDE to alleviate the ubiquitous edge-fattening issue. We show two drawbacks of the raw triplet loss in MDE and demonstrate our problem-driven redesigns. First, we present a min. operator based strategy applied to all negative samples, to prevent well-performing negatives sheltering the error of edge-fattening negatives. Second, we split the anchor-positive distance and anchor-negative distance from within the original triplet, which directly optimizes the positives without any mutual effect with the negatives. Extensive experiments show the combination of these two small redesigns can achieve unprecedented results: Our powerful and versatile triplet loss not only makes our model outperform all previous SoTA by a large margin, but also provides substantial performance boosts to a large number of existing models, while introducing no extra inference computation at all.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL