When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation

要約

関節の深さと自我運動の推定のための自己監視型深層学習法は、グラウンドトゥルーストレーニングデータを必要とせずに正確な軌道を生み出すことができます。
ただし、通常は測光損失を使用するため、これらの損失の前提条件（たとえば、時間的な照明の一貫性、静的なシーン、ノイズやオクルージョンがないこと）に違反すると、パフォーマンスが大幅に低下する可能性があります。
これにより、たとえば、それらの使用が制限されます。
夜間のシーケンス。これには、多くの点光源（動的オブジェクトを含む）と、暗い画像領域での低い信号対雑音比（SNR）が含まれる傾向があります。
このホワイトペーパーでは、3つの手法を組み合わせて、既存の測光損失を昼と夜の両方の画像で機能させる方法を示します。
まず、連続するフレーム間で発生する光の変化を補正するために、ピクセルごとの神経強度変換を導入します。
次に、ネットワークからの推定された自我運動と深さによって引き起こされる再投影の対応を修正するために使用するピクセルごとの残差フローマップを予測します。
そして第3に、トレーニング画像のノイズを除去して、アプローチの堅牢性と精度を向上させます。
これらの変更により、個別のエンコーダーや既存の方法のような追加の機能ネットワークを必要とせずに、昼と夜の両方の画像に対して単一のモデルをトレーニングできます。
挑戦的なOxfordRobotCarデータセットに対して広範な実験とアブレーション研究を実施し、昼と夜の両方のシーケンスに対するアプローチの有効性を実証します。

要約(オリジナル)

Self-supervised deep learning methods for joint depth and ego-motion estimation can yield accurate trajectories without needing ground-truth training data. However, as they typically use photometric losses, their performance can degrade significantly when the assumptions these losses make (e.g. temporal illumination consistency, a static scene, and the absence of noise and occlusions) are violated. This limits their use for e.g. nighttime sequences, which tend to contain many point light sources (including on dynamic objects) and low signal-to-noise ratio (SNR) in darker image regions. In this paper, we show how to use a combination of three techniques to allow the existing photometric losses to work for both day and nighttime images. First, we introduce a per-pixel neural intensity transformation to compensate for the light changes that occur between successive frames. Second, we predict a per-pixel residual flow map that we use to correct the reprojection correspondences induced by the estimated ego-motion and depth from the networks. And third, we denoise the training images to improve the robustness and accuracy of our approach. These changes allow us to train a single model for both day and nighttime images without needing separate encoders or extra feature networks like existing methods. We perform extensive experiments and ablation studies on the challenging Oxford RobotCar dataset to demonstrate the efficacy of our approach for both day and nighttime sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google