STEPS: Joint Self-supervised Nighttime Image Enhancement and Depth Estimation

要約

自己教師付き深度推定は、自動運転車の 3D センシング機能を促進できるため、最近多くの注目を集めています。
ただし、それは本質的に測光の一貫性の仮定に依存しており、夜間にはほとんど当てはまりません。
さまざまな教師付き夜間画像強調方法が提案されていますが、困難な運転シナリオでのそれらの一般化パフォーマンスは満足のいくものではありません。
この目的のために、どちらのタスクにもグラウンドトゥルースを使用せずに、夜間の画像エンハンサーと深度推定器を共同で学習する最初の方法を提案します。
私たちの方法は、新しく提案された不確実なピクセル マスキング戦略を使用して、2 つの自己監視タスクを緊密に絡み合わせます。
この戦略は、夜間の画像が露出不足の領域だけでなく、露出過度の領域にも影響を受けるという観察に基づいています。
イルミネーション マップの分布に橋状の曲線を当てはめることで、両方の領域が抑制され、2 つのタスクが自然に橋渡しされます。
nuScenes と RobotCar の 2 つの確立されたデータセットでこの方法のベンチマークを行い、両方で最先端のパフォーマンスを実証します。
詳細なアブレーションは、提案のメカニズムも明らかにします。
最後になりましたが、既存のデータセットのまばらなグラウンド トゥルースの問題を軽減するために、CARLA に基づいてフォトリアリスティックに強化された新しい夜間データセットを提供します。
コミュニティに意味のある新しい課題をもたらします。
コード、データ、およびモデルは、https://github.com/ucaszyp/STEPS で入手できます。

要約(オリジナル)

Self-supervised depth estimation draws a lot of attention recently as it can promote the 3D sensing capabilities of self-driving vehicles. However, it intrinsically relies upon the photometric consistency assumption, which hardly holds during nighttime. Although various supervised nighttime image enhancement methods have been proposed, their generalization performance in challenging driving scenarios is not satisfactory. To this end, we propose the first method that jointly learns a nighttime image enhancer and a depth estimator, without using ground truth for either task. Our method tightly entangles two self-supervised tasks using a newly proposed uncertain pixel masking strategy. This strategy originates from the observation that nighttime images not only suffer from underexposed regions but also from overexposed regions. By fitting a bridge-shaped curve to the illumination map distribution, both regions are suppressed and two tasks are bridged naturally. We benchmark the method on two established datasets: nuScenes and RobotCar and demonstrate state-of-the-art performance on both of them. Detailed ablations also reveal the mechanism of our proposal. Last but not least, to mitigate the problem of sparse ground truth of existing datasets, we provide a new photo-realistically enhanced nighttime dataset based upon CARLA. It brings meaningful new challenges to the community. Codes, data, and models are available at https://github.com/ucaszyp/STEPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google