Frequency-Aware Self-Supervised Monocular Depth Estimation

要約

自己教師あり単眼深度推定 (MDE) モデルを一般的に強化する 2 つの用途の広い方法を提示します。
私たちの方法の高い一般化可能性は、測光損失関数の基本的かつ遍在する問題を解決することによって達成されます。
特に、空間周波数の観点から、特定のオブジェクト境界での測光損失の下での誤った監視を抑制するために、最初にアンビギュイティマスキングを提案します。その原因は、ピクセルレベルのあいまいさにたどることができます。
次に、高周波領域での測光損失を強化するように設計された、新しい周波数適応型ガウス ローパス フィルターを提示します。
私たちは、解釈可能な分析で深度推定量を改善するために画像のぼかしを提案した最初の企業です。
どちらのモジュールも軽量で、パラメーターを追加せず、ネットワーク構造を手動で変更する必要もありません。
実験によると、私たちの方法は、最先端のモデルを含む多数の既存のモデルのパフォーマンスを向上させ、追加の推論計算をまったく導入しないことが示されています。

要約(オリジナル)

We present two versatile methods to generally enhance self-supervised monocular depth estimation (MDE) models. The high generalizability of our methods is achieved by solving the fundamental and ubiquitous problems in photometric loss function. In particular, from the perspective of spatial frequency, we first propose Ambiguity-Masking to suppress the incorrect supervision under photometric loss at specific object boundaries, the cause of which could be traced to pixel-level ambiguity. Second, we present a novel frequency-adaptive Gaussian low-pass filter, designed to robustify the photometric loss in high-frequency regions. We are the first to propose blurring images to improve depth estimators with an interpretable analysis. Both modules are lightweight, adding no parameters and no need to manually change the network structures. Experiments show that our methods provide performance boosts to a large number of existing models, including those who claimed state-of-the-art, while introducing no extra inference computation at all.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google